"딥러닝 모델은 어떻게 바뀔것인가?"를 ChatGPT에게 물어보았다

저는 현재의 딥러닝 모델과 그 기반이 되는 신경망 모델은 수많은 제약, 제한으로 묶여있는 모델이라고 생각하는 쪽입니다.

특히 신경망 모델이나 딥러닝 모델은 인간 또는 동물의 신경세포(특히 뇌신경)와 그 연결 상태를 모방했다는 것이 일반적인 평가이며, 또 그렇게 교육되고 있지만..

저의 주장은 신경망 모델과 딥러닝 모델은 그 구조를 보면 실제 신경세포와 신경망의 기능 중에서 극도로 제한적인 기능만을 흉내낸 모델이라는 것입니다.

그래서 현재의 모델은 현재 시점에서의 산업이나 다양한 활용에는 아무런 문제가 없지만 흔히 말하는 AGI(Artificial General Intelligence, 범용 인공지능/일반 인공지능(또는 인공 일반 지능))나 Strong AI(현재의 AI는 Weak AI죠)는 불가능하다는 것이 저의 평가입니다.

 

실제로 작년 가을에 제프리 힌튼, 얀 르쿤, 요슈아 벤지오. 이렇게 인공지능 계의 거장 3명이 한 간담회 내용에서

현재의 딥러닝 모델은 신경과학적인 요소가 반영되어서 새롭게 연구되어야 하며, 동시에 역전파 알고리즘을 대체할 수 있는 새로운 방법을 찾아야 더 발전할 수 있을것이다.. 현재의 거대 AI 모델로 가는 방향은 (뭐 필요하기는 하지만) 답이 될 수는 없다..

 

라고 이야기하기도 했지요.

 

     읽어보기: AiDALab 블로그 내 참고 글: 현재의 AI와 딥러닝 모델에 대하여.. (tistory.com)

현재의 AI와 딥러닝 모델에 대하여..

 

 

 

 

 

그래서 요즘 화제가 되고 있는 Chat GPT에게 "딥러닝의 다음 모습은 어떻게 바뀔 것인가?"라는 질문을 해 보았습니다.

 

사실 언어모델을 기반으로 하는 생성모델은 말은 자연스럽게 잘 하지만 실제 데이터를 기반으로 한 문장은 만들지 못한다는 단점이 있습니다.

그 이유는 모델 자체의 목적이 현재의 문맥에서 가장 자연스러운 텍스트를 만들어 내는 것이지 정보를 전달하기 위한 것이 아니거든요.

그러나 학습 과정에서 수많은 텍스트를 학습할 때, 사실과 실제 데이터를 설명하는 내용을 대량으로 포함시킨다면 어느 정도 사실에 기반하는 적절한 대답을 만들 수 있습니다.

대신 엄청난 비용과 인력, 컴퓨팅 자원 등이 요구되기때문에 개인이 수행하기는 어려운거죠.

그래도 역시 기상관측 데이터를 전달하고 그 데이터를 기반으로 하는 기상캐스팅 원고는 만들지 못합니다.

그래서 유사한 초안을 만들고 사람이 데이터를 적용해서 데이터에 맞게 내용을 조금 수정하는 것으로 기상 관련 뉴스 원고를 만들거나 합니다.

 

어쨋든... 그래서 ChatGPT에게 질문을 해 보았더니.. 정말 모범적인 답변이 나왔습니다.

 

What will be the next form of deep learning model?
딥러닝 모델의 다음 형태는 어떤 형태로 바뀔까?

The field of AI and deep learning is constantly evolving, and new models and approaches are being
developed all the time. It is difficult to predict with certainty what the next form of deep learning model
will be, but some possible developments that have been widely researched and discussed include:

Generative Adversarial Networks (GANs): GANs can generate new and diverse data samples, such as 
images, audio, and text, making them a promising area for future developments.

Transfer Learning: Transfer learning is the process of adapting a pre-rained model to a new task, which
can save time and resources compared to training a model from scratch.

Reinforcement Learning: Reinforcement learning is a type of machine learning that focuses on teaching AI 
agents to make decisions in an environment by taking actions and learning from rewards. It is expected to 
play a key role in areas such as robotics, autonomous vehicles, and gaming.

Graph Neural Networks (GNNs): GNNs are designed to process graph-tructured data and are being explored
for applications in various domains, such as social networks, molecular biology, and recommendation systems.

These are just a few examples of possible future developments in deep learning, and new approaches and 
models are being proposed and explored all the time. The field is dynamic and rapidly advancing, so it is likely 
that new forms of deep learning models will emerge in the near future.

AI 및 딥 러닝 분야는 끊임없이 진화하고 있으며 새로운 모델과 접근 방식이 항상 개발되고 있습니다. 다음 형태의 딥 러닝 모델이 무엇인지 확실하게 예측하기는 어렵지만 광범위하게 연구되고 논의된 몇 가지 가능한 발전은 다음과 같습니다.

GAN(Generative Adversarial Networks): GAN은 이미지, 오디오 및 텍스트와 같은 새롭고 다양한 데이터 샘플을 생성할 수 있으므로 향후 개발을 위한 유망한 영역이 됩니다.

전이 학습: 전이 학습은 사전 훈련된 모델을 새로운 작업에 적응시키는 과정으로, 모델을 처음부터 훈련하는 것에 비해 시간과 리소스를 절약할 수 있습니다.

강화 학습(Reinforcement Learning): 강화 학습은 AI 에이전트가 행동을 취하고 보상을 통해 학습함으로써 환경에서 결정을 내리도록 가르치는 데 중점을 둔 기계 학습 유형입니다. 로봇, 자율주행차, 게임 등의 분야에서 핵심적인 역할을 할 것으로 기대된다.

그래프 신경망(GNN): GNN은 그래프 구조 데이터를 처리하도록 설계되었으며 소셜 네트워크, 분자 생물학 및 추천 시스템과 같은 다양한 영역의 응용 프로그램을 위해 탐색되고 있습니다.

이는 딥 러닝의 향후 개발 가능성에 대한 몇 가지 예일 뿐이며 새로운 접근 방식과 모델이 항상 제안되고 탐색되고 있습니다. 이 분야는 역동적이고 빠르게 발전하고 있으므로 가까운 미래에 새로운 형태의 딥 러닝 모델이 등장할 가능성이 높습니다.

 

Chat GPT의 대답

 

이 정도까지 대답을 할 수 있다는 것이 사실 놀랍기는 합니다.

요즘 괜히 이슈가 되고 있는 것은 아니란 소리네요.

 

여러가지로 일이 바빠서 어디까지 할 수 있을지는 모르겠지만 ChatGPT가 유료화 하기 전에 시간이 되는대로 이것저것 시도해보면 재미있을 것 같습니다.