챗GPT의 환각문제를 개선하기 위한 OpenAI의 새로운 방법?

오픈AI가 챗GPT의 환각(Hallucination) 문제를 개선하는 새로운 방법을 공개했다고 합니다(2023.05.31 현지시간).

OpenAI에서 사용자의 의도에 맞는 답변을 생성하기 위해 ChatGPT/GPT-4에 도입한 방법은 인간 피드백 기반 강화 학습(RLHF)를 도입하고 있습니다. 
RLHF는 거대 언어 모델(Large Language Model, LLM)에 입력/질의(Prompt)를 제공하고 여러 출력을 생성하도록 한 다음 인간 평가자에게 생성된 텍스트의 순위를 최고에서 최악까지 우선순위를 매기도록 하는 방법입니다. 
그런 다음 LLM 텍스트에서 점수를 예측하도록 보상 모델을 학습하는 것이 기존의 ChatGPT/GPT-4에 도입한 방법입니다.

그리고 이때 보상 모델은 추론에 따른 최종 결과를 보상의 대상으로 하고 있습니다.
이러한 접근 방식을 "결과 감독(Outcome Supervision)"이라고 합니다.
그런데 기존의 결과 감독 방식으로는 다단계의 추론이 필요한 영역에서 특히 문제가 될 수 있습니다.
처리 과정 중에서 하나의 단계에서 논리적인 오류가 발생한다면 추론 단계가 진행되면서 더욱 큰 오류를 만들 수 있기 때문입니다.

그러나 OpenAI가 제안한 새로운 방법은 추론을 수행하는 각 단계마다 보상을 하는 "과정 감독(Process Supervision)" 방식을 적용함으로써 추론이 진행되는 각 단계 별로 보상을 반영할 수 있게 되어 더욱 정확도가 높은 결과를 도출 할 수 있고, 이로 인하여 환각문제를 개선할 수 있다고 합니다.
다시 말하면 다단계로 구성되는 추론의 각 단계마다 RLHF를 적용함으로써 AI 모델이 인간과 유사한 사고 과정을 따르도록 유도하고, 이로 인햏 더욱 설명 가능한 AI(Explainable AI, XAI)에 다가갈 수 있다는 주장입니다.

https://openai.com/research/improving-mathematical-reasoning-with-process-supervision

Improving mathematical reasoning with process supervision

그렇지만 아직 회의적인 시각이 많이 있습니다.
벤 윈터스 전자 개인정보 센터 선임 고문은 "단순히 그것만으로는 AI의 잘못된 정보와 결과에 대한 우려를 완화하기 어렵다"고 언급하였고, 수레시 벤카타수브라마니안 브라운 대학 기술 책임 센터장은 "대규모 언어 모델의 작동 방식은 전반적으로 불안정하기 때문에, 어떤 환경에서는 작동하더라도 다른 환경에서는 작동하지 않을 수 있다"고 지적하고 있습니다. 

https://www.aitimes.com/news/articleView.html?idxno=151451

오픈AI, 챗GPT 환각 문제 개선 방안 공개 - AI타임스

 

그런데 어찌보면 당연한게... 
현재 발표되고 있는 대부분의 초거대AI는 Transformer 아키텍처를 따르는 기존의 언어모델을 기반으로 하고 있습니다.
즉 지금의 ChatGPT 계열의 모델들은 거의 모두가 문장에서 빈 칸을 만들고 그 빈 칸을 가장 자연스러운 대화문장이 만들어질 확률이 가장 높은 단어로 채워넣는 개념을 기반으로 하고 있다는 것입니다.
이러한 현재의 모델에서는 주어진 입력에 대한 의미를 분석하고 데이터를 기반으로 그 진위를 파악할 수 있는 방법이 없기 때문에 환각(Hallucination)문제는 언어모델의 태생적인 문제라고 생각합니다.

좀 더 근본적인, 개념 수준에서의 개선 또는 모델의 수정이 필요하다는 것이 제 생각입니다.
간단한 프로세스의 보완이나 기술의 적용으로 쉽게 해결될 문제가 아니라는 것이죠.
뭐... 아주 뛰어난 세계적인 천재들이 아무도 생각하지 못한 새로운 해결책을 내놓을 수도 있겠지만... 아직까지는 그런 상황이라고 보고 있습니다.

그리고 솔직하게 말한다면 아무리 뛰어난 천재들이 새로운 해결책을 내놓는다고 해도 완전한 해결은 불가능에 가깝지 않나.. 하고 생각하고 있습니다.
그 이유는.. 세상에는 수많은 사기꾼이 아직 건재하고 이들에게 속은 수많은 피해자가 여전히 생겨나고 있는 것을 보면... 그리고 잘못된 지식이나 사실을 진실이라고 철석같이 믿고 있는 사람들과 음모론자가 여전히 전 세계에 퍼져 있는 것을 본다면 사람도 이러한 문제로부터 완전히 자유롭지 못하다고 할 수 있습니다.
사람에게서조차 해결되지 않은 문제를 짧은 연구를 통해, 간단한 실험을 통해 해결할 수 있다고 믿고 주장하는 것은 좀 많이 성급한 것이 아닐까.. 싶네요.