신의 탄생 인간의 종말

전형적인 해킹은 이렇게 진행된다. 컴퓨터가 사용자 이름을 입력하라고 한다. 해커는 이름 대신 280자나 되는 문자열을 넣는다. 프로그래머는 이름이 256자보다 길 수 있다고는 생각하지 못했다. 그 결과 남은 24자는 원래 이름을 저장하려던 메모리 공간을 넘쳐흘러, 프로그래머가 사용자가 손댈 수 없다고 가정했던 다른 메모리 영역에 기록된다. 그중 8자는 ‘다음에 어떤 코드를 실행할지' 지시하는 메모리 부분을 덮어쓴다. 이제 '특정한 이상한 글자' 조합만 고르면, 컴퓨터는 원래 실행하지 않아야 할 코드를 돌리기 시작한다. 이렇게 전체 시스템을 장악할 수도 있다. 이런 방식을 ’버퍼 오버플로buffer overflow 공격'이라 부른다.

이 공격은 컴퓨터를 정상 경로가 아닌, 기묘한 인과관계의 경로로 끌고 간다. 즉, '실행 경로execution path'가 정상적인 동작에서 완전히 벗어난다. 일반적 입력으로는 10억 년이 지나도 닿을 수 없는 경로다. 프로그래머가 280자의 이름을 무작위로 테스트한다 해도 대부분은 무의미한 값이 되어 컴퓨터는 단순 오류로 종료될 것이다. 그런데 딱 '그 입력값' 하나만 맞으면, 공격자가 시스템을 장악하는 결과로 이어진다. 확률로 따지면 18경 분의 1이다. 이는 결코 우연히 일어나지 않는다.

로그인 화면의 정상 작동을 아무리 검토해도, 영리한 공격자가 무엇을 할 수 있는지는 알 수 없다. 무작위 테스트로도 알아낼 수 없다. 시스템을 설계한 사람보다 그 시스템을 더 잘 이해한 공격자는 18경 개의 가능성 중 단 하나의 ‘가장 나쁜 입력'을 찾아내어, 가장 큰 통제력을 얻는다.

컴퓨터 보안이란 결국 엔지니어가 컴퓨터가 취할 수 있는 모든 경로를 완벽히 통제할 수 있는지를 시험하는 일이다. 그들은 시스템의 모든 변형 가능성을 파악해야 하며, 그 앞에는 모든 가능한 교란을 시도하는 적대자가 있다. 프로그래머가 아무리 완벽히 코드를 작성해도, 공격자는 그 허점을 찾아낸다. 결국 컴퓨터 보안은 자신이 만든 시스템조차 완전히 이해하거나 통제할 수 없는 인간의 한계를 드러내는 싸움이다.

우리는 이 중심적 난제를 엣지 케이스의 저주curse of edgecases라고 부른다. 보안이 완전하려면, 시스템이 정상 범위를 벗어나는 모든 예외적 경우, 가능성의 가장자리에 있는 경우에서도 문제없이 작동해야 한다.

빠른 속도, 좁은 여유 폭, 피드백 루프, 복잡성, 이 네 가지 공학적 저주는 인간의 공학적 역량으로 어느 정도 극복할 수 있다. 실제로 목적지에 도달한 탐사선도 있고, 폭발하지 않는 원자로도 있다. 이런 저주들은 인간의 기술로 '대응'이 가능하다. 그러나 엣지 케이스의 저주는 전혀 다른 차원의 난제이다. 유용한 컴퓨터 시스템을 실제로 완벽히 안전하게 만드는 일은, 숙련된 보안 전문가들 사이에서도 인간의 능력 밖이라는 사실이 이미 정설이 됐다. 세계적 보안 전문가 브루스 슈나이 Bruce Schneier는 <디지털 보안의 비밀과 거짓말>에서 이렇게 썼다. "현대의 시스템은 너무나 많은 구성요소와 연결로 이뤄져 있고, 그중 일부는 설계자, 개발자, 사용자조차 그 존재를 모른다. 따라서 불안정성은 언제나 남는다."

여기서 인공지능이 얻어야 할 교훈은 단순히 '초지능이 인간의 컴퓨터를 해킹할 수 있다'는 것이 아니다. 그보다는 지능이 '엣지 케이스'를 탐색할 때, 시스템 제약이 얼마나 쉽게 무너지는가에 관한 것이다.

만약 인공지능이 폭발하는 원자로처럼 행동하지 않기를 바란다면, 그 시스템에 이런 제약을 걸어볼 수 있을 것이다. "아직 너무 똑똑해지지 마." "아직 너무 빨리 생각하지 마." "항상 느린 인간의 승인을 기다려.” “이 문제를 해결하되, 이상한 일은 절대 하지마."

그런데 이런 제약은 언제나 AI가 목표를 이루는 과정을 방해한다. 결국 인간은, 자신이 만든 제약이 버텨낼 수 있는지를 확인하기 위해 시스템 안을 흐르는 지능과 맞서야 한다. 인간의 판단력과 통제력이 그 지능을 감당할 수 있는지, 그 시험대에 오르게 되는 것이다.

우주탐사선, 핵반응로, 컴퓨터 보안. 이들 교훈은 무엇을 가리키는가? 우리는 그로부터 초지능 정렬의 난이도에 대해 무엇을 배울 수 있을까?

초지능은 우주탐사선과 닮았다. 사전에 실제 환경에서 완벽히 시험할 수 없으며, 일단 우리 머리 위로 올라가면 다시 회수하거나 수정할 수 없다. 그 순간에 대비해 나름의 '교묘한 장치'를 설계해둔다 해도, 그 장치가 실패하면 초지능은 여전히 높은 곳에, 결코 닿을 수 없는 존재로 남게 된다. 게다가 초지능 정렬의 실패는 수십억 달러의 손실로 끝나는 게 아니다. 모든 것이 소멸한다.

초지능은 핵반응로와도 닮았다. 그 내면에서 인간이 통제하기엔 너무 거대하고, 자기 증폭적이며, 초단위보다 훨씬 빠르게 작동하는 물리적·논리적 과정이 일어난다.

또한 초지능은 컴퓨터 보안 문제와도 닮았다. 엔지니어가 시스템에 걸어둔 모든 제약은, 결국 지능적 존재가 그 제약을 우회하는 방식으로 무력화될 수 있다.

이 세 가지 도전은, 설령 우리가 지능의 법칙을 완벽히 이해한다 하더라도 두려운 과제일 것이다. AI가 실제로 어떻게 작동하는지, 그 '이전'과 '이후'의 경계가 어디인지, 오류 허용 범위가 얼마나 되는지 정확히 안다고 해도 공포 그 자체일 것이다.

그런데 우리는 지금 그 어느 것도 모른다. AI는 설계되는 것이 아니라 자라난다. 그 복잡한 내부에서 무엇이 지능을 만들어내는지, 그 힘이 어떻게 생겨나는지 아무도 모른다.

인류가 지금의 이해 수준으로 이 문제를 풀 수 있다고 믿는 것은, 서기 1100년의 연금술사들이 핵반응로를 우주 공간에서 단 한 번의 시도로 만들 수 있다고 믿는 것만큼이나 터무니없는 일이다.

우리는 웬만해서는 고함을 치지 않는다. 대개 고함은 아무런 도움이 되지 않기 때문이다. 오히려 감정에 휘둘리는 사람으로 보이게 될 뿐이다. 그러나 어떤 순간에는, 논리의 전제를 하나하나 차분히 검토한 다음에는, 더 이상 낮은 목소리로 말해서는 안 되는 때가 있다. 차분해 보이는 게 오히려 해가 된다.

AI의 문제에서 인류가 맞닥뜨린 도전은, 지금의 지식과 기술 수준으로는 극복이 불가능하다. 가까이조차 가지 못했다. 그런 상황에서, 지구상의 모든 생명을 걸고 그런 문제를 풀겠다는 시도는 미친 짓이며, 어리석은 도박이다. 그런 시도는 누구에게도 허락돼서는 안 된다.

<AI, 신의 탄생 인간의 종말> 엘리에저 유드코스키, 네이트 소아레스, 상상스퀘어, 2026, 240-245.