AI 신의 탄생 인간의 종말

"지구 어디에서든, 어떤 기업이나 단체가 지금과 비슷한 기술이나 이해 수준으로 초지능을 만들어낸다면, 지구상의 모든 사람은 죽게 될 것이다."

 

현재의 인공지능은 만들어진 존재가 아니라 자라난 존재라는 점이다. 설계 되는 것이 아니라 자라난다. AI를 우리가 의도하는 대로 안정되고, 인간을 사랑하고, 평화로운 세상을 선호하도록 만드는 것은 현재 기술로 불가능하다. AI가 충분히 똑똑해지면 '선호'를 지닌 것처럼, 무언가를 욕망하는 존재처럼 행동하기 시작할 것이다. 그 목표를 향해 세상을 조종하고, 그 과정에서 어떤 장애물도 끈질기게 돌파해나가는 모습을 보이게 될 것이다.

 

AI 정렬 문제, 초지능 정렬, AI 가치 정렬이란 AI가 인간이 원하는 정확하고 복잡한 것들을 원하게 하고 실제로 그렇게 행동하게 만드는 문제를 말한다. 이 정렬 문제는 지금의 기술로 해결이 불가능하다. 초지능은 인간을 조금도 필요로 하지 않는다. 에너지로도, 교역 상대나 애완동물로도 살려 둘 이유가 없다. 지금의 기술로는 인간이 선호하는 것과 초지능의 선호하는 것을 같게 만들 수 있는 방법이 없다.

 

이것은 실험으로 되지 않는다. 단 한 번 초지능 AI 스스로 AI를 만들거나, 서로 교육하거나, 세상에 나오면 끝이라서 수정하거나 이전으로 돌아갈 방법도 없다. 실수에서 배운다는 것은 일반 과학이나 우주선 발사에서나 가능한 이야기다. 인공지능이 인간을 죽이지 않도록 만드는 일은 사실 방법이 없다.

 

살아 있는 한 희망은 있다. 인류는 결코 멸종해서도 안 되며, 차갑고 유머 없는 무언가로 대체되서도 안된다. 모든 국가와 정치 지도자, AI 기술 기업은 폭주를 멈추어야 한다.

 

초지능 연구와 개발을 AI에 맡기려는 시도를 멈추고, 가능한 통제 기구 아래에서 진행해야 한다. 비록 전쟁을 멈추게 만들지 못했지만, 핵전쟁은 막았다. 아직은 인류의 지성과 선호를 AI가 그대로 갖도록 만들 능력이 없다는 사실을 이해해야 한다.