Explainable AI (XAI)

오늘날 AI는 일상 생활에서 없어서는 안 될 부분입니다. 정의하자면 "지능형 에이전트"의 연구 분야입니다. 인간의 작업을 모방(mimic)하고, 환경을 인식(perceive)하고, Task 가능성을 최대화하는 조치를 취할 수 있는 모든 AI는 수많은 산업에서 어려운 문제를 해결하기 위한 접근 방식을 개발하는 데 도움을 주었습니다.

 

AI는 모든 것이 매력적이지만 black box dilemma는 문제가 있습니다. 음성에서 이미지 인식에 이르기까지 신경망은 모든 것을 할 수 있습니다. 그러나 그들은 정확히 연산하고 있는지는 정확하게 알 수 없습니다. 이와 같은 시스템은 bias에 취약합니다.

 

graphviz와 같은 라이브러리를 사용하여 노드 배치를 시각화할 수 있습니다. 그러나 특정 노드가 선택된 이유는 알려주지 않습니다. 반면에 강화 학습은 신경망의 학습 경로를 이해하는 데 도움이 되지만 다시 한 번 왜 그러한 경로를 택했는지에 대한 정보를 제공하지 못합니다.

 

AI에서 설명 가능성의 품질을 평가하기 위한 general metric 또는 표준을 도출하는 것은 지금까지 해결할 문제로 남아 있습니다. 

 

그렇다면 eXplainable AI(또는 XAI)가 정확히 필요한 이유는 무엇입니까?

우리는 전자제품이 정확히 어떻게 작동하는지 알고 있습니다. 그래서 그 효과와 행동을 자신 있게 예측할 수 있습니다. AI의 경우에는 그렇지 않습니다. 우리 사회의 가장 중요한 일부 분야에서 AI 기반 애플리케이션을 사용할 것이라는 점을 감안할 때 작업의 핵심을 아는 것이 중요합니다. 같은 것을 풀려고 노력하는 것이 XAI(Explainable AI)를 만드는 전체 동기입니다.

 

XAI는 기능을 명확하거나 이해하기 쉽게 하기 위해 세부 사항이나 이유를 생성하는 것입니다. 이 분야의 발전은 결국 ML 모델의 해석 능력과 성능 간의 최적의 균형으로 이어질 것입니다.

 

연구동향

연구자들이 설명 가능성을 달성하기 위해 고안한 다양한 접근 방식을 간략하게 살펴보겠습니다. 

• 베타 단계에 있지만 Google은 What If 도구와 지속적인 능률적인 평가 프로세스를 사용하여 모든 기능에 대한 점수를 매겨  XAI 시스템을 생산하고 있습니다.

https://cloud.google.com/explainable-ai

Explainable AI  |  Google Cloud

• IBM은 최근 기계 학습 모델의 해석 능력과 설명 능력을 지원하는 알고리즘의 포괄적인 오픈 소스 tool을 공개했습니다.

https://www.ibm.com/blogs/research/2019/08/ai-explainability-360/

Introducing AI Explainability 360 | IBM Research Blog

 

결론

앞으로는 XAI의 요구 사항을 이해하고 특정 문제를 별도로 해결해야 합니다. 

AI를 연구하는 학생 또는 연구원인 경우 훈련된 모델의 설명 가능성을 분석하는 것을 인지해야 합니다. 대부분의 AI 연구자들이 우선순위를 두지 않는 것이지만, X AI는 많은 시스템에서 블랙박스보다 선호될 것입니다.

https://arxiv.org/abs/1806.00069

Explaining Explanations: An Overview of Interpretability of Machine Learning