전체 요약:
이 강연에서 연사는 대규모 언어 모델(LMs)과 인공 지능(AI) 연구에 대한 그의 접근 방법과 시각을 공유합니다. 연사는 오픈 AI와 관련된 연구자이며, 그의 핵심 주장은 AI 연구가 기계에게 인센티브를 제공함으로써 모델이 스스로 일반 지능을 개발할 수 있다는 것입니다. 연사는 이를 통해 모델이 다양한 작업에 대응할 수 있는 일반적인 기술을 학습할 수 있다고 주장합니다. 그는 이러한 접근 방식이 장기적으로 지속 가능하고 확장 가능하다고 믿으면서, 컴퓨팅 능력의 기하급수적 증가를 최대한 활용해야 한다고 강조합니다. 연사는 AI 연구에서는 일반 지능이 특정 지식보다 중요하다고 논하며, AI 분야의 변화에 유연하게 대처할 수 있는 새로운 방식의 학습과 연구 접근 방식을 강조합니다.
목차 및 세부 내용:
1. 연사와 배경 소개
– 연사는 오픈 AI의 연구 과학자입니다. 그는 MIT에서 박사 학위를 받았고, Google 브레인에 이어 오픈 AI에서 근무하고 있으며 대규모 언어 모델 개발에 참여해 왔습니다.
2. 언어 모델에 대한 연사의 접근 방식
– 연사는 일반 지능을 개발하는 데 초점을 맞추며, 모델이 다양한 기술을 스스로 학습할 수 있도록 인센티브를 제공하는 것이 중요하다고 봅니다. 이는 모델이 스스로 필요한 기술을 파악하고 습득할 수 있는 유일한 실현 가능한 방법이라고 주장합니다.
3. AI 연구의 목표와 문제 인식
– 연사는 AI 연구가 특정 문제를 해결하는 것이 아닌, 중대한 영향을 미치는 문제를 찾는 것에 더 큰 관심을 가져야 한다고 말합니다. 그는 우리의 주된 목표는 훌륭한 문제를 찾아 해결하는 것이어야 하고, 이러한 접근이 현실적인 진보로 이어진다고 믿습니다.
4. 컴퓨팅 비용의 감소와 AI 연구의 발전
– 연사는 컴퓨팅 비용이 기하급수적으로 감소하고 있고 이는 AI 연구에 중대한 영향을 미치고 있다고 언급합니다. 컴퓨팅 능력의 폭발적인 증가는 AI 연구원들이 생각하는 방법을 학습하는 데 있어서 새로운 방법론을 창안하는 기회로 보고, 우리는 이러한 기회를 활용하여 확장 가능한 설루션을 제시해야 한다고 주장합니다.
5. 언어 모델 학습의 새로운 패러다임
– 연사는 현재 언어 모델 학습이 다음 토큰 예측에 기반을 두고 있지만, 이것이 유일한 전략은 아니라고 말합니다. 그는 풍부한 의미를 가진 데이터와 학습 목표를 제공함으로써 모델이 스스로 탐색하고, 가르침 없이도 보다 일반적인 지식과 기술을 습득할 수 있다고 봅니다.
6. 인센티브 구조와 AI 연구 전략
– 인센티브 기반의 학습 접근법은 모델이 스스로 중요한 것을 판단하고 필요한 기술을 발전시킬 수 있도록 장려합니다. 연사는 이것이 AI 연구 전략에서 새로운 관점을 요구하고, 고정된 이론에 얽매이지 않고 지속적으로 새로운 아이디어를 받아들여야 한다고 강조합니다.
7. AI 연구의 미래 방향성
– 연사는 AI 연구의 미래는 크고 작은 모델 간의 상충관계를 넘어서 모델이 다양한 영역에서 더욱 일반적인 기술로 발전할 수 있는 방향으로 나아가야 한다고 보며, 인간 중심의 편견에서 벗어나서 모델이 지능을 발휘할 수 있는 새로운 영역을 탐색하도록 인센티브를 제공하는 것이 중요하다고 강조합니다.
글은 여기까지고, 역시 사족이다.
챗봇 사용자 입장에서는 사실 딥 레이서 강화학습에서 이미 경험한 내용이다. 2020년 이전에 컴퓨터로 늦게 시작했는데 스스로 잘한다고 생각한 인간이 학교 세탁용으로 서울대 진학하며, **이 무슨 인공지능 대회 수상 했다고 일단 믿지도 않았고 그 당시 딥레이서 쓰며 강화학습을 공부한 적이 있다. 이후에 당근 출신 엔지니어가 코드 한 줄도 안치고 딥레이서 우승했던 이야기를 블로그에 썰로 풀면서 대회 수상이 별 것 아니라는세 기정 사실화 되었었고 지금은 흔적만 남았다. 이후 서울대 그 친구는 업스테이지 자문이 되고. 때마침 국가 기관에서 업스테이지 관련 의견을 물아와서 현실적으로 좋지 않게 자문했었고 지금 딱 그대로 되었다. 너무도 쉽게 공부하고 재미있던 플랫폼을 만든 아마존이 대단했다고 생각했고, 지금은 본인들은 다 해보니 그냥 컴퓨팅 파워 제공하는 게 돈이 되겠다고 판단해서 재주는 AI가 부리고 결국 돈은 아마존이 버는 것을 보며, 역시 챗봇 최강자는 860조 시장의 대부분을 먹은 아마존이라 생각한다.
글이 정말 지워진 것 같으니,
국내에서는 나름 이름 있는 학교나 기관이니 글로 스스로를 깎아 먹지 말자는 카르텔임은 쉽게 추정이 된다.
AWS DeepRacer Hero 인터뷰 — 당근마켓 유정열님 | Amazon Web Services
국내에서 상품화 중심에서 나름 선두에 있는 선행 개발자들이 ML에 관심을 가진 건 2014년, 2015년 즈음이나 이때 블록체인과 인공지능이 다음 선택지였다. 블록체인 분야는 개발이 힘들거나 돈 번 사람은 개발자를 떠났고, 남을 사람만 남았다. 그에 비해 인공지능 쪽은… 아직 거품이 많은 것 같다. 내가 실제로 발 딛고 있는 곳은 메타버스로 나 역시 남을 사람만 남은 분야에서 일하며, 개발자 모임을 주최를 위해 이렇게 매거진에서 글을 쓰고 있다. 개발자 모임이야 많지만, 진짜 개발을 하는 사람이 주축은 곳은 한국에 거의 없다.
사실, C/C++, QT가 위에서 아마존이 다 먹은 클라우드 시장을 뺏어올 수 있는 유일한 무기인데(토렌트), 시간 나면 힘든 거 빼고 경영하고 싶고 경영하다 보니 타이틀이나 가지고 싶고, 타이틀 가지다 보니 개발자를 아래로 두고 싶어서 주최하거나 참석하거나 거기에 이름을 얹는 개발자 모임 밖에 안 남았다. 돈 되고 거품 낀 것만 하다 보니 나중에 죽기 전에 스스로가 잘못된 인생임을 알 텐데, 그동안 말해 주는 사람이 없어서 결국 그렇게 믿다가 갈까 봐 만든 매거진이기도 하고. 추진하는 모임이기도 하다. 매달 말 즈음에 모임을 챗봇 매거진에 공지하고 사실상, 이미 오프라인으로 모일 사람은 다 정해졌는데 행여나 저나 참석자들의 시각이 뭔지 궁금해서 구독자 분 참여를 받기 위해 포스터는 하나 만들 생각이다. 지금 새벽 3시 20분에 글을 쓰고 있으니 쓰고 올린 후, 뉴스 좀 보다가 한 6시부터 만들기 시작하면 가족들 일어나는 시간까지 만들 수 있지 않을까 한다(분명 10시나 11시까지 늦잠 잘거라 장담하기에) 컴퓨터를 한 지난 30년간 내 아이디어나 통찰이나 베끼는 사람들이 너무나 많았다. 이건 어릴 적부터 뭘 하는 사람들이 항상 느끼는 것이지만 그게 중요한 것도 아니고 결국은 해외의 누군가가 만들어 놓은 곳에서 출발하니 아쉬울 것도 없다. 문제는 그렇게 벤치마킹해서 가져간 것이 오리지널스들에 의해 제대로 된 제품이나 서비스로 만들어져서 우리에게 돌아오면 괜찮은데 그렇지 않은 경우가 대부분이다. 그래서 개발자 모임을 만들고 그 핵심에 챗봇 유저 모임이 있다. 이제 챗봇은 다들 쓰니까 당연히 구심점도 되는 것이고. 난 서울, 경기도권에서 개최할 테니 누군가는 각 지방에서 모임을 만들어 주면 좋겠다. 나중에 잘되면 연합해도 되고. 어릴 적 동아리 연합에 나가서 네트워크 형성하다 보니 량현량하나 1:1 농구로 국내 최고였던 사람 만났던 기억이 있는데 워낙 좋았던 기억이다.
다만, 본질은 이것이다. 내가 생각하는 개발자 모임은 누가 최신 정보를 가지고 있는가? 누가 잘하나? 누가 지식이 많은가? 자체가 고려 사항이 아니다. 그래서 이름 있는 연사를 모셔올 필요도, 세미나도 필요 없다. 내 개발자 첫 번째 모임은 IT 분야에서 조 단위의 돈을 움직이고 매년 쓰는 분을 게스트로 모셔온다. 지금은 교도소에 있는 분의 조찬 간담회 몇 번 갔었는데 1조 클럽 있던데… 매년 1조를 쓰는 것과 가지고 있는 것은 다르다. 그래서 뭔가에 대한 새로운 관점을 볼 수 있다. 수레바퀴 깎는 것을 전수할 수 없는데 여기까지 읽은 독자분들을 위해 간단히 정리하면,
일 년 조 단위의 돈을 쓰는 곳에서는 IT 제품을 만들기보다 IT 제품을 만드는 회사끼리 경쟁을 시키는 플랫폼을 만든다. 그래서 개발보다는 검증과 평가가 더 중요한 주제이다. 스피드와 혁신보다는 공정성과 정확성이 더 중요한 주제이다.
사실, 특별할 건 없다. 모든 관점이 또 그렇다. 각자 경험이 다르니 판이하게 다른 관점이지만 막상 뚜껑을 열어보면 별 것 없다. 사는 것도 별 것 없지 않은가? 보통 정부가 하는 일이 그렇다 그래서 우리가 정치면을 안 볼 수 없는 이유이기도 하고, 삼권 분립이니 어쩌니 해도 그래도 자식 낳으면 이왕이면 사법부로 보내고 싶은 부모 마음이기도 하다. 변호사 욕은 엄청 하지만 다들 자식은 변호사가 되어 인간의 사회성이 가지는 힘을 가장 잘 아는 사람이 되었으면 한다. 그만큼 사회성이 대단한 힘이니 다들 개발자 모임을 조직했으면 한다. 무슨 조폭도 아니고?
점 조직이 활성화되면 낭만을 추구하는 누아르 물을 찍을 수도 있지 않을까? 각자 관점이 다른 것을 이해하고 소통하고 포용한다는 자체가. 그리고 한 사람의 경험과 그 스토리는 사실 모임 주체가 혼자 다 들어줄 수 있는 것이 물리적으로 불가능하기에 대한민국이라는 이 척박한 땅에서 그래서 IT라는 주제로 통일될 수 있으면 얼마나 좋을까?라는 생각을 하게 만든다. IT를 하던 IT를 안 하던 개발자 모임에 들어올 수 있는 것도 모두의 관점은 다 다르고 나라의 주인이 국민인 것처럼 결국 IT의 주인도 USER라는 것이다.
이런 USER의 모임 또한 중앙화가 되지 말아야
2017년 3월 12일 방영된 먹거리 X파일 의 대만식 카스텔라 관련 방송으로 인해 일어난 논란이자 먹
이렇게 안될 것이다.
어떤 브랜드가 계속 1등이라는 것은 그 브랜드가 잘한다는 것이 아니다. 모든 게 영원하지 않은데 어떻게 계속 원할 수 있는가에 대한 철학적 질문을 던져보면, 구라를 치치고 있거나 치부를 감추고 있거나 어떻게든 뭔가를 이어가는 스킬을 써서 껍데기를 유지하고 있는 것이다.
파리 올림픽 메달이 변색·부식 등으로 품질 논란에 휩싸였지만 자사 장인 참여를 자랑했던 프랑스 최대 명품 기업 루이비통은 책임을 회피하고 있다. 지난 20일(현지시각) 뉴욕타임스…
많은 사람들이 타는 자동차 회사가 최고급 브랜드를 모두 발아래 두는 것도 마찬가지다. 최고급 브랜드를 추구했던 브랜드 때문에 발아래라는 표현을 썼는데, 보통은 함께 협업한다 파트너가 맞지만. 고급 브랜드를 추구한다는 것 자체가 이런 저열한 생각이 깔려 있는 것이라 발아래가 아닌 발바닥 아래가 오히려 더 맞는 표현이겠다. 물론, 브랜딩 외 그 안에서 고급화를 위해 열심히 노력한 엔지니어나 장인은 존경받아 마땅하다. 내 다른 글에서 계속 말하는 ‘나누기’는 기본이다.
폭스바겐은 일반 승용차, 스포츠카, 상용차, 중장비 브랜드까지 거의 모든 종류의 차량을 만들 수 있는 자…
이렇든 저렇든. 예고편은 다 적었고,
아이큐 120의 openAI o1 보다 아이큐 80 정도인 제미나이 어드벤스드를 많이 쓰고 있다. 구글은 잘 알다시피 Android에서 우리 개인 데이터를 다 모은다. 이미 10년 전부터 내가 어디 살며, 어디 출근하는지 다 알고 있었다. 그것이 개인 정보를 우선시하는 애플 플랫폼으로 바꾼 이유기도 한데, 사실 내가 쓰는 대부분의 서비스는 구글 서비스가 많다. 그래서 함께 갈 나의 개인 서비스 파트너는 구글이 늘 메인이고, 나의 자료가 넘어가는 것을 크게 생각지 않는다. 대부분의 주요 논문도 구글에서 나온 것이니 감사한 것도 있고, 구글 엔터프라이즈를 써서 무료로 제공하는 제미나이에서 나의 글이 지워지지 않아도 그냥 쓴다. 어차피 글 지워지는 기능 넣은 곳도 그게 진짜 지워지지 않는다고 생각하기 때문이다. 진짜 지워진다는 게 사실이라고 해도 사실은 이 바닥에서 별로 중요치 않다. 블록체인 소스처럼 오픈 소스화를 해야 그게 진실이 되는 것이다.
그전까지는 아무도 믿지 말라던 내 책처럼. 그것을 쓴 나도 믿지 말라던 책처럼 정말 아무도 믿지 말아야 한다. 이건 사람 40년 동안 믿어서 생각 경험을 결과라 100% 장담한다.
누군가는 다 된 밥에 재를 뿌리기 위해 밥을 하는 사람도 있다. 99가 맞아도 1 잘못된 것 때문에 목숨을 잃을 수도 있으니 늘 조심하며 살아가야 한다. 사람 하나 잘못 믿어서 5억, 10억 손해 보기도 하고 목숨이 왔다 갔다 하기도 하기 때문이다. IT 분야의 기술을 보는 사람은 항상 의심하는 태도를 유지해야 확신에 차서 미래를 말하는 사기꾼이 줄어든다. 그리고 더 나아가면 자기 길이 맞다고 늘 광고하는 본인 스스로도 어차피 사람들은 안 믿을 거야라고 생각하게 되어, 확신에 찬 목소리의 하나의 뮤지컬처럼 들릴 수 있다. 사람들은 저것도 저 사람의 ‘관점’으로 보지 거기에 돈을 태우지는 않을 것이다.
수많은 사람들이 세상에 있고 모두가 달라서 개인 프라이버시가 존중받는 것인데, 무슨 모임이나 행사는 하나 같이 똑같은지 ^^ 그렇다고 폐쇄적이고 퇴폐적이고 불빛 하나 없이 네온사인과 연기가 그득한 뭔가를 조직하자는 것도 아니다.
“컴맹 소리 듣는 사람 모임”
“챗봇 개발자는 아니고, 개장 쓴다고 생각하는데 내가 맞는지는 사실 모르는 사람 모임.”
“열심히 일하다 시간 없었는데 인공지능이 대세인 것 같은데 뭔지 몰라서 FOMO가 생긴 사람들 모임”
*FOMO(Fear Of Missing Out)는 놓치는 것에 대한 두려움을 뜻하는 심리적 현상
“IT 정점에 있는데 서민들도 만나보고 싶은 사람들 모임”
“기술과 예술이 뭔지 알고, 융합하고 싶은 사람 모임”
“공부하다가 이 길이 아닌 것 같다. 실패 공유 모임”
“기술 없이 기술 이야기하고 싶은 사람들 모임”
“미래를 상상하는데 코딩 없는 개발자 모임”
데이터 탐험가 모임, IT와 철학의 만남, 레트로 IT 모임, IT 업계의 비밀 토크, 악플 대신 코드 읽기 모임, 개발자 건강 나쁘니 건강모임, 흠… 등산 모임도 괜찮다. 어린이와 함께 하는? 등등등 해서
끝도 없다.
난 줄여서 “개발자 모임”이라고 한다. 프로그래밍을 개발하던, 부동산을 개발하면, 자기 계발하는 방법을 개발하던…
모임에는 항상 목적이 있다. 누군가가 나에게 목적을 묻는 다면… 개발자보다는 프로그래머가 직업 이름으로는 더 좋아서 제 직업 이름은 지금 시점에서 이 방법 아니고는 개발자와 평생 함께 쓰게 될 것 같아서요. 개발자는 일반화시키고 싶었습니다.라고 미리 적어 둔다.
답글 남기기