구글의 Bard가 Bing AI보다 구글 기술을 모른다??

5월 10일에 개최된 구글 I/O 컨퍼런스에서 구글의 최신 대규모 언어모델(Large Language Model, LLM)인 'PaLM 2'를  발표되었고, 며칠 전에는 PaLM 2의 세부 정보가 일부 알려졌다는 기사를 보았습니다.

또한 구글에서 OpenAI의 영향인지 PaLM 2의 구체적인 핵심 기술을 공개하지 않는다는 내용을 보면서 구글의 Bard는 자사의 모델에 대하여 어느 정도까지 알고 있을까? 라는 궁금증이 생겼습니다.

 

그래서 Bard와 Bing AI에게 질문을 해 보았습니다.(역시 최신 정보는 알지 못하는 ChatGPT는 제외하였습니다.)

 

구글의 LLM 모델에 대하여 세대별로 구분해서 자세하게 설명해줘

Bard의 경우,

구글의 모델을 물었는데 왜 GPT-2가 나오지?

 

Bing AI의 경우,

Bard 보다는 나은 것 같은데... T5 같은 애들은 어디로??

 

Bard는 생각보다 당황스러운 결과를 보여주네요.

세대별로 자세하게 설명해 달라고 했지만 뭐... 그다지 자세한 설명은 기대하지 않았기 때문에 넘어가더라도...

Bard는 왜 OpenAI의 GPT-2를... 경쟁사의 모델을 소개하고 있는걸까요?

그리고 최신 모델이라고 할 수 있는 PaLM, PaLM 2는 언급조차 없군요.

질문을 살짝 바꿔서 물어보면 대답해 줄지도 모르지만 좀 실망스러운 답변입니다.

 

반면에 Bing AI는 Bard와 같은 실수를 하지는 않았군요.

T5(Text-To-Text Transfer Transformer)와 같은 일부 모델을 누락시키긴 했지만 그래도 대체로 맞게 대답을 하고 있습니다.

 

최근 Bard의 선전에 의해 구글이 OpenAI의 ChatGPT/GPT-4를 기반으로 한 그룹을 다시 추월하기 시작했다거나.. 그런 이야기들이 자주 들리는데...

제가 하는 질문들만 그런 것인지.. 어째서인지..

제가 보기에는 아직 Bard는 신경을 더 써야 할 것으로 보입니다.

 

 

 

 

그렇다면 영문으로 질문하고 대답을 받으면 더 좋게 나올까요?

각 LLM들이 한국어 학습을 많이 추가했고 구글같은 경우는 한국어 학습에 집중적으로 투자하겠다는 계획도 발표하고 있지만 아직까지 한국어를 통한 질문/답변은 영문보다 못하다는 평가를 많이 받고 있는 것이 사실이니까요.

 

그래서 다시 영어로 물어보았습니다.

 

Explain Google's LLM model in detail by classifying it by generation.

Bard의 경우,

이번엔 제대로 나온 것 같다

 

Bing AI의 경우,

한글일때와 별로 차이가 없다

 

Bard는 이번에는 제대로 대답을 했습니다.

뭐.. 이전 질문/답변과 마찬가지로 자세한 설명은 안되기는 하지만...

그래도 잘못된 내용이 들어가거나 주요 모델이 빠지거나 하진 않았습니다.

며칠 전에 발표한 PaLM 2는 빠졌지만(Bing AI는 언급하고 있는데..) 그래도 이정도면 준수하다고 생각되네요.

 

Bing AI의 경우는 한글로 된 질문/답변과 별로 차이가 없습니다.

이 결과에서만 본다면 Bing AI는 한글과 영문에서의 차이가 훨씬 적은 것으로 보아 그만큼 한국어에 신경을 써서 모델을 학습시켰다고 봐야 할까요?

Bard는 한국어와 영어 사이에 정확도 및 내용에 대한 차이가 있지만 Bing AI는 그다지 차이가 보이지 않는다는 것이니까요.

 

어쨋은.. Bard는 뭔가 살짝 아쉬운 결과를 계속 보여주고 있어서... 조금 더 신경을 써 줬으면.. 하는 생각입니다.

 

Bard나 Bing AI가 한국어를 아주 잘 하게 되면 한국어에 특화된 서비스를 강조하려는 네이버나 국내 업체들이 힘들어지겠지만... 그건 국내 업체들이 더 열심히 경쟁력을 키워줘야 되겠죠.