NIST, 설명가능한 AI 4원칙 발표

 

 

미 국가표준기술연구소(NIST), 인공지능 결정의 설명 가능성에 대한 보고서 발표

NIST Asks A.I. to Explain Itself 

 

우리 중 대다수는 어린 시절 “왜 그랬니?”라는 질문을 많이 받았다. 인공지능(AI, Artificial Intelligence)이 우리의 삶에 영향을 주는 결정이 많아짐에 따라 우리도 간단하지만 심오한 질문을 하고 AI는 이에 대해 대답할 수 있어야 한다. 결국 이는 우리가 AI의 결정을 어떻게 신뢰할 수 있는지의 문제로 귀결된다.

 

만족할 만한 설명을 얻기 위해 국가표준기술연구소(NIST, National Institute of Standards and Technology)의 과학자들은 AI의 결정이 어떻게 설명가능한지 우리가 판단할 수 있는 일련의 원칙을 제안하였다. 그 보고서 초안은 설명 가능한 인공지능의 4가지 원칙(Four Principles of Explainable Artificial Intelligence (Draft NISTIR 8312))이라는 제하로 발표되었는데, 그 목적은 우리의 의사결정 디바이스가 어떠해야 하는지에 대한 논의를 촉발시키는 데에 있다.

 

이 보고서는 신뢰할 수 있는 AI 시스템의 개발을 돕기 위한 NIST의 폭넓은 노력 중 하나라고 할 수 있다. NIST의 기반연구는 인공지능의 논리적 능력과 한계에 대해 이해하고, 정확성, 신뢰성, 보안성, 견고성(robustness), 그리고 설명 가능성을 개선함으로써 시스템의 신뢰를 구축하는 데 목적을 둔다.

 

보고서 저자들은 초안에 대한 공개 검토를 요청하고 있는데, 이는 이 주제가 공학, 컴퓨터 과학에서 심리학, 법적 이슈 등 폭넓은 범위에 걸친 이슈이기 때문이다. 이를 통해 폭넓은 토론이 이루어질 수 있을 것으로 기대하고 있다.

 

보고서 저자 중 한명인 NIST의 엔지니어 조나단 필립스(Jonathon Phillips)는 AI가 점차 높은 수준의 의사결정 과정에 참여하지만, 누구도 기계가 이유에 대한 설명도 없이 결정을 내리는 상황을 원하지 않는다고 말했다. 한편 공학자들을 만족시키는 답변이라고 할지라도 다른 배경을 가진 사람들에게는 그렇지 않을 수 있다. 따라서 다양한 시각과 의견을 보고서에 반영코자 한다고 말했다.

 

AI 시스템의 결과물이 도출된 이유에 대한 이해는 결과물로 영향을 받는 모든 이들에게 혜택을 줄 수 있다. 예를 들어 만일 AI가 대출 승인 결정을 한다면, 그에 대한 이해는 소프트웨어 설계자가 시스템을 개선하는데 도움을 줄 수 있다. 그러나 신청자가 AI의 의사결정 과정에 대한 이해를 필요로 할 때, 예를 들어 승인이나 거절 사유를 알고자 할 때, 그 이해는 해당 신청인이 신용도를 높게 유지하는데 도움을 줄 수 있다.(아래 참고문서) 

 

 

NIST(미국국립표준기술연구소)는 AI가 향후 인간의 삶에 영향을 미치는 결정을 내리게 될 것임에 따라 AI의 결정이 얼마나 설명 가능한지 판단할 수 있는 “NISTIR 8312 설명가능한 AI의 4원칙”을 발표했습니다. 

 

이번 초판은 AI 시스템의 이론적 능력과 한계를 이해하고, 정확성, 신뢰성, 보안성, 견고성 및 설명가능성을 향상시킴으로써 AI 시스템에 대한 신뢰를 구축하는 것을 목표로 하였습니다. 

 

● 설명 가능한 AI 4원칙은 아래와 같음 

 

• AI 시스템은 모든 결정(output)에 대한 근거나 이유를 함께 제공해야 한다.
• 시스템은 개별 사용자에게 의미있거나 이해할 수 있는 설명을 제공해야 한다.
• 해당 설명은 결과를 생성하는 시스템의 결정 프로세스를 정확히 반영해야 한다.
• 시스템은 설계한 조건 혹은 결정에 대한 충분한 신뢰도에 도달한 경우에만 작동해야 함(만일 시스템이 충분히 신뢰할 수 있을만한 결정을 내릴 수 없다면, 의사결정을 이용자에게 제공해서는 안 된다. 즉, 시스템의 결정에 대한 신뢰가 부족하면 사용자에게 결정을 제공하지 않아야 한다는 개념이다.)  

원문출처: ETSI C-V2X Plugtest achieves interoperability success rate of 94% 

참고문서: NIST Asks A.I. to Explain Itself  

 

 

Credit:  B. Hayes/NIST 이미지 출처: 링크 참고문서