월드 모델? 물리 AI? LLM은 사라질거라고? 글쎄..

1월 22일(현지 시각) 스위스 다보스포럼에서 열린 "기술 토론" 세션에서 AI의 대부 중 한 사람으로 유명한 얀 르쿤 메타 부사장(AI 수석 과학자)이 5년 이내에 기존의 LLM을 뛰어넘는 새로운 AI 아키텍처 패러다임이 부상할 것이라고 발언했습니다.

 

https://www.irobotnews.com/news/articleView.html?idxno=37420

AI 대부 얀 르쿤, “5년내 새 AI 아키텍처 패러다임 나온다” - 로봇신문사

 

얀 르쿤은 LLM이 사람들이 원하는 AI에 비해 그리 많은 것을 충족시키지 못하며, 기존의 LLM 패러다임은 3~5년이내에 더이상 사용되지 않을 것이라고 주장했죠.

그리고 기존 AI의 한계로 물리적 세계에 대한 이해 부족, 지속적인 메모리 부족, 추론 부족, 복잡한 계획 기능 부족이라는 4개의 이유를 들며 이러한 취약점을 극복한 월드 모델을 제시했습니다.

 

월드모델은 2018년 구글의 데이비드 하가 처음 제시한 모델로 알려져있으며 월드모델을 지지하는 대표적인 인물로 메타의 얀 르쿤, 엔비디아의 젠슨 황 등 여러 사람이 있습니다.

또한 비슷한 개념으로 AI의 대모로불리는 이미지넷의 설립자이자 스탠포드 대학교의 페이페이 리 교수가 제시한 월드랩스 모델을 들 수 있습니다.

작년 12월 페이페이 리 교수가 월드랩스 모델의 구현체를 공개했을때 구글에서도 비슷한 월드 모델 "Genie 2"를 공개하였고 두 모델간의 유사성과 시너지 효과에 대한 내용이 이슈가 되었었죠.

 

https://www.aitimes.com/news/articleView.html?idxno=165949

구글도 '월드 모델' 공개...페이페이 리 교수의 월드랩스 모델과 유사 - AI타임스

 

그리고 올해 1월 미국 라스베가스에서 개최된 CES 2025에서 엔비디아의 젠슨 황이 Cosmos라고 불리는 물리 AI를 제시하였고, 이 물리 AI는 궁극적으로 월드모델과 유사한 목적을 가지고 있다고 생각됩니다.

 

https://www.asiae.co.kr/article/2025011012201424166

[뉴스속 용어]생성 AI 넘어 '물리 AI' 온다 - 아시아경제

 

2025년에 주목받게 될 기술로 AI Agent니 뭐니.. 수많은 개념들이 제시되고 주장되고 있는 와중에 물리 AI나 월드 모델 같은 것들도 떠오르며 이후의 AI는 어디로 가게 될 지 정말 알 수 없게 되고 있습니다.

 

저도 AI 관련 강의 시에 제대로 된 AI가 만들어지기 위해서는 실제 세계와 소통하는 기능이 매우 중요하며 그런 기능을 구현하기 위해서 AI는 로봇기술과 함께 진행되어야 한다고 자주 이야기 했었는데, 지금 나오는 월드모델이나 물리 AI와 같은 것들이 모델만이 아니라 로봇기술이 함께 진행되어야 함을 제시하고 있으며 앞으로의 AI는 로봇 AI가 될 것이다.. 라는 식으로 이야기 하는 사람도 나오고 있습니다.

월드모델, 물리 AI라는 개념과 추세에는 저도 찬성하는 입장인거죠.

 

그러나 앞에서 얀 르쿤이 이야기 한 것처럼 LLM은 얼마 지나지 않아서 더 이상 사용되지 않을 것이다.. 라는 의견에는 크게 동의하지 못하고 있습니다.

얀 르쿤의 핵심 분야인 컴퓨터비전이 월드 모델에서 중요한 것도 이해를 하고 있고.. 또 비슷한 계열의 주장을 테슬라의 일론 머스크도 예전에 했었죠.

테슬라의 자율주행 자동차는 라이다를 사용하지 않고 카메라만을 이용하여 진짜로 제대로 된 자율 주행을 구현하겠다는 내용이었던 것으로 기억합니다.

 

그렇지만 LLM이 필요없어지는 것은 아니라고 생각합니다.

예전에 제가 썼던 글에서도 언급한 적이 있는데.. 인류의 문명은 언어와 함께 탄생했다고 봐도 무방할 정도로 언어는 인간의 지능과 밀접한 관련이 있습니다.

아마 어떤 사람들도 언어를 사용하지 않고 어떤 사고, 생각을 할 수는 없을 것입니다.

우리가 지능, 지식, 지혜라고 부르는 모든 것들이 언어로 구성되어있기 때문입니다.

 

이러한 언어는 오랜 학습을 통해서 자연스럼게 익히게 되는데 그것을 컴퓨터를 이용해서 짧은(?) 시간에 집중적으로 압축 학습하여 만든 것이 LLM이라고 할 수 있습니다.

새로운 AI 모델이 나온다고 해도 LLM이 지금과 같은 핵심 위치에 서있지는 않더라도 역시 중요한 역할을 담당하고 있을 것입니다.

AI와 사람과의 소통에 언어는 핵심일 수 밖에 없습니다.

 

대신.. 지금처럼 이해라는 것이 없는 LLM이 아니라 좀 더 의미를 이해할 수 있는 LLM으로 진화는 해야 하겠죠.

제가 보기에는 LLM과 월드 모델은 서로 유기적으로 연동 또는 통합되는 형태로 함께 작동하는 것이 올바른 방향이 아닐까.. 생각합니다.

 

세상이 너무 빠르게  바뀌고 있습니다.

뭐든 너무 빠르게 바뀌면 부작용도 커지게 마련이죠.

과연 이 세상은 어디로 가게 될까요?

최근들어 자주 가지게 되는 의문점입니다.

부디 올바른 방향으로 잘 나아갔으면 좋겠습니다.