설명가능한 인공지능 (Explainable Artificial Intelligence, XAI)

(이 글은 예전에 운영하던 블로그를 현재 블로그와 통합하면서 기존 블로그의 내용을 일부 수정하여 옮겨온 글입니다.)

 

 

 

2018.02.02 02:41 ---------------------------------------------------------------------------------------------------------

 

XAI(설명 가능한 인공지능)

AI는 몇 년 전부터 가장 이슈가 되고 있는 분야의 하나입니다.
많은 사람, 업체, 기관들의 이야기에서 거의 빠지지 않고 나오는 단어죠.
많은 사람들이 인공지능의 부분집합인 기계학습(머신러닝)과 모집합인 인공지능을 동일시 하는  오류를 범하고 있다던가 어쩌던가.. 라는 이슈들도 많이 돌아다니고 있지만 일반인의 입장에서는 아무런 의미가 없는 이슈입니다.
일반인의 입장에서 생각한다면.. 내가 산 물건이든 서비스이든.. 내가 원하는 대로 잘 움직여주고, 고정된 방식으로 한 가지만 처리해 주는 것에서 벗어나 뭔가 소통을 하는것 처럼 보인다면 그것으로 만족일겁니다.

그 과정에서 정말 인공지능 기술이 들어갔는지, 아니면 치밀하게 서비스를 잘 설계해서 그럴듯하게 보이는 것인지의 여부는 별 상관도 없고, 또 전문가라고 해도 이것은 맞고 저것은 틀렸다.. 라고 할만한 근거도 적당하지 않죠.
현재의 인공지능이나 기계학습 기술은 본질적으로 잘 정의된 분류 및 최적화 기술의 하나일 뿐이기 때문입니다.

기계학습을 통해서 사물이나 음성, 데이터를 학습하여 인식을 하는 기술도 역시 수 많은 인수를 조정해서 원하는 분류 결과(=인식 결과)가 나오도록 최적화하는 기술이라고 볼 수 있습니다.
바둑 프로그램처럼 수 십~수 백수 앞을 예측하여 게임의 승리를 이끌어 내는 기술도 어디에 바둑돌을 놓았을때, 그 작업을 반복했을때 최종 결과가 승리 또는 패배로 분류될 것인지를 미리 계산해보고 선택하는 기술이며, 이 때의 선택 역시 이 쪽에 돌을 놓을까 저 쪽에 놓을까를 분류하는 작업입니다.
물론 그 과정에서 적용되는 기술은 요즘 흔히 말하는 딥러닝 기법, CNN, SNN, GAN 등 다양한 기술, 모델이며, 많은 연구자와 개발자들이 더욱 성능이 뛰어난 기술과 서비스를 개발하고자 노력하고 있지만.. 본질적으로는 그렇습니다.

그런데 이런 분류와 최적화를 위한 기술들이 그러한 분류의 근거, 최적화의 근거를 제시하지 않고 마지막 결과만을 제시하는 블랙박스화 되어 있다는 것이 최근 이슈가 되고 있습니다.
이 같은 단점은 새롭게 나타난 것이 아니라 벌써 수 십년 전부터 잘 알려진 문제이지만 최근 인공지능과 기계학습이 트랜드가 되면서 다시 주목을 받게 된거죠.
과정을 모르면 어때? 결과만 정확하면 되지.. 와 같은 것이 일반적인 사용자의 생각일 수 있으나 특정 분야 또는 특이한 시선을 가진 사용자의 입장에서는 인공지능 및 기계학습 기술 자체에 대하여 의구심을 품게하는 중요한 이슈가 됩니다.

예를 들면 주식 시장의 흐름을 분석하고 예측하여 투자를 결정하는 전문가(인공지능 전문가가 아닌)의 입장에서는 인공지능을 적용한 예측 시스템은 뭔가 예측결과는 좋은 것 같은데 어딘지 모르게 찜찜한.. 왜 그런 결과를 내놓았는지 알 수 없는 그런 시스템일 수 있습니다.
오히려 그런 전문가에게는 인공지능 예측 시스템보다는 주식 데이터를 정확히 분석하고 그 추이를 알려주는 분석 시스템이 더 믿을 수 있을 것입니다.
그러한 데이터를 기반으로 자신의 전문 지식과 기술, 능력을 최대한 활용하여 최상의 예측을 하고 투자를 이끌어 내는 것이 전문가들의 일이기 때문이죠.

그리고 내부과정을 알 수 없는 인공지능 기술의 발달은 인류에게 위협이 된다는 생각을 가진 많은 사람들에게도 마찬가지겠죠.

이러한 관점에서 시작된 것이 바로 XAI (eXplainable Artificial Intelligence), 즉 설명 가능한 인공지능 기술의 연구입니다.

 

 

 

 

2018.02.04 22:26 ---------------------------------------------------------------------------------------------------------

XAI (Explainable Artificial Intelligence, 설명 가능한 인공지능)이란 이름 그대로 인공지능의 내부에서 일어난 일들을 사람이 이해할 수 있도록 정보를 제공하는 인공지능입니다.

지금까지의 인공지능은 엄청난 데이터와 계산능력을 기반으로 복잡한 연산을 통하여 입력에 대한 원하는 결과를 얻을 수 있도록 블랙박스 내부의 수많은 노드에 대한 가중치를 조절해 나가는 방식으로 학습을 수행하였고 그 결과를 사용자에게 제공하였습니다.

그러나 사용자는 왜 그런 결과가 도출되었는지, 어떤 과정을 통하여 그런 결정을 내렸는지 알 수 없습니다.

그 과정에서 사용된 데이터를 추출하여 확인한다고 해도 왜 그 과정에서 그런 데이터가 사용되었는지, 그 데이터를 기반으로 왜 현재의 결정을 선택했는지는 알기 어렵습니다.

이런 이유로 많은 사람들은 인공지능을 신뢰할 수 없다고 주장하고 있으며, 또한 동일한 이유로 인공지능이 어떤 생각을 가지고 어떤 결과를 이끌어 낼 것인지 모르기 때문에 인공지능의 발전은 인류의 안전에 위험이 된다고 주장하고 있죠.

그렇다면 그 과정을 제대로 확인할 수 있고 이해하기 쉽게 정보를 제공한다면 이런 문제가 해결되지 않을까? 라는 생각에서 시작된 것이 바로 XAI의 연구입니다.

XAI의 연구자체는 매우 오래 전부터 제안되어 왔지만 본격적으로 주목받고 연구가 진행되기 시작한 것은 비교적 최근의 일입니다.

여러 연구기관 및 기업들이 XAI에 대한 연구를 시작하고 있으며, 대표적인 연구기관 중 하나가 미국 국방성의 연구, 개발 부문을 담당하고 있으며 인터넷의 원형인 ARPANET을 개발한 것으로 잘 알려져 있는 방위 고등 연구 계획국(DARPA , Defense Advanced Research Projects Agency)입니다. 

제안된 기술의 전체적인 개념은 기존에 사용되던 인공지능 모델에 데이터를 기반으로 설명이 가능한 모델과 설명을 위한 인터페이스를 부여하고, 사용자는 해당 인터페이스를 통하여 인공지능 시스템의 블랙박스 안을 확인한다는 것입니다.

(추가 의견: 초기에는 이런 방식이 중심이었지만 그 이후로 다양한 방식이 제안되고 연구가 진행되었습니다.)

 

출처 : https://www.darpa.mil/attachments/XAIIndustryDay_Final.pptx

말로만 표현하면 매우 간단해 보입니다.
가만히 앉아서 생각을 진행시켜 보죠. 

 

어차피 데이터는 내부에 저장되어 있을 것이고 해당하는 데이터를 잘 분석하는 기능만 추가하면 되겠지.  아... 데이터를 잘 분석하려면 분석을 위한 다양한 알고리즘이 필요하겠군.  어떤 데이터가 포함되어 있을지 모르니 분석용 알고리즘에도 기존에 명확하게 밝혀진 학습이나 인공지능 관련 기술이 좀 포함되어야 겠다.  사용자가 보고 이해하여야 하니까 시각화 기술도 필요하겠지.  그런데 이것들을 어떻게 연결해서 어떤 방식으로 보여줘야 하지?   통계 기술도 들어가야 될 것 같은데?  결정 과정을 보여주려면 결정 트리와 같은 분류, 결정모델도 포함되어야 할텐데..  이것들로 설명을 만들어내라고? 어떻게????  저 값은 왜 저리로 간거야???

생각을 진행시켜보면 점점 해야할 일이 커집니다.
진행 방향을 자칫 잘못 잡게 되면 프로세스가 빙글빙글 도는 무한루프에 빠질 것 같습니다.
이것은 결코 말하는 것처럼 쉬운 기술이 아니라는거죠.

연구기관들은 어떻게 연구를 진행해 왔는지 컨셉부터 하나하나 살펴봐야 할 것 같습니다.

 

 

 

2020.05.19 ---------------------------------------------------------------------------------------------------------

 

XAI에 관심을 가지기 시작한 후 처음 블로그에 썼던 글입니다.

벌써 2년이 훨씬 넘는 시간이 지났네요.

그 사이에 많은 일이 있어서 제대로 연구를 진행하지 못했는데 이제 슬슬 시작해야 할 것 같습니다.

 

얼마 전에 공지에도 올렸듯이 현재 제 블로그에는 몇 가지의 주제로 포스팅이 순서 없이 등록되고 있습니다.

약간 일관성 없이 여러가지 주제를 쓰고 있는 듯한 느낌도 들지만 현재 진행하고 있는 연구 과정에서 동시에 적용되고 진행되어야 하는 내용들이라서 그렇습니다.

그냥 하나씩 공부하고 연구해 나가는 주제들이라면 저도 한 분야씩 커리큘럼을 짜고 집중적으로 다루고 싶지만 여의치 않네요.

 

좀 중구난방인 것 같아도 이해를 부탁드립니다. ^^