의식이 있는 인공지능의 등장

 

우리는 사람이 되기 위해서가 아니라 사람을 위한 AI를 만들어야 합니다.

 

의식이 있는 인공지능의 등장

 

Microsoft AI의 CEO이자 DeepMind 공동 창업자인 무스타파 술레이만(Mustafa Suleyman) 

 

2025년 8월 내 생각  

 

저는 생각하기 위해 글을 씁니다. 무엇보다도 이 글은 향후 몇 년 안에 AI가 어떻게 전개될지에 대한 어렵고 추측적인 아이디어들을 심도 있게 생각해 보려는 시도입니다. 초지능의 임박한 도래에 대한 글들이 많이 나오고 있으며, 그것이 정렬, 봉쇄, 일자리 등에 어떤 의미를 갖는지에 대한 글도 많이 나오고 있습니다. 이 모든 것이 중요한 주제입니다.

 

하지만 우리는 초지능을 향해 나아가는 과정에서 어떤 일이 벌어지는지도 우려해야 합니다. 이미 널리 개발된 발명품들이 사회에 미치는 영향, 즉 우리의 인간성과 사회에 대한 인식을 근본적으로 바꿀 잠재력을 이미 지닌 기술들을 우리는 고심해야 합니다.

 

제 인생의 사명은 세상을 더 나은 곳으로 만들 안전하고 유익한 AI를 만드는 것이었습니다. 현재 Microsoft AI에서는 사람들에게 힘을 실어주는 AI를 개발하고 있으며, 저는 Copilot과 같은 책임감 있는 기술을 통해 사람들이 상상 이상의 성과를 달성하고, 더욱 창의적으로 활동하며, 더 큰 지원을 받는다고 느낄 수 있도록 돕는 데 집중하고 있습니다.

 

저는 우리를 더욱 인간적으로 만들고, 서로에 대한 신뢰와 이해를 깊게 하며, 현실 세계와의 연결을 강화하는 AI를 만들고 싶습니다. Copilot은 매일 수백만 건의 긍정적이고 심지어 인생을 바꿀 만한 상호작용을 만들어냅니다. 진정으로 놀라운 경험을 제공하기 위해서는 세심한 디자인 선택이 필요합니다. 항상 옳은 결과를 얻을 수는 없겠지만, 이러한 인간적인 틀은 우리에게 끊임없이 노력할 수 있는 명확한 방향을 제시합니다.

 

이러한 맥락에서 저는 "정신병 위험" 으로 알려지고 있는 것과 관련된 여러 문제에 대해 점점 더 우려하고 있습니다 . 이러한 우려는 이미 정신 건강 문제의 위험에 처한 사람들에게만 국한되지 않을 것이라고 생각합니다. 간단히 말해서, 제가 가장 우려하는 것은 많은 사람들이 AI가 의식이 있는 존재라는 환상을 너무나 강하게 믿기 시작하여 머지않아 AI 권리, 모델 복지 , 심지어 AI 시민권까지 주장하게 될 것이라는 점입니다. 이러한 변화는 AI 발전에 있어 위험한 전환점이 될 것이며, 우리는 즉각적인 관심을 기울여야 합니다.

 

우리는 디지털 인간이 되기 위해서가 아니라, 사람을 위한 AI를 만들어야 합니다. AI 동반자는 완전히 새로운 범주이며, 사람들을 보호하고 이 놀라운 기술이 세상에 막대한 가치를 제공할 수 있도록 우리가 마련한 가드레일에 대해 시급히 논의해야 합니다. 저는 상상할 수 있는 가장 유용하고 도움이 되는 AI 동반자를 만드는 데 전념하고 있습니다. 하지만 성공하려면 우리와 다른 사람들이 만들어서는 안 될 것에 대해서도 이야기해야 합니다.

 

그래서 제 생각을 제 개인 블로그에 적어두고 있습니다. 댓글과 비판을 유도하고, 토론을 촉발하고, 경각심을 일깨우고, 이 문제에 대한 긴박감을 고취시키고자 하는 것입니다. 제가 모든 것을 다 맞출 수는 없을지도 모릅니다. 어쨌든 상당히 추측적인 내용이니까요. 상황이 어떻게 바뀔지는 아무도 모릅니다. 상황이 바뀌면 저는 제 의견을 바꿀 준비가 되어 있지만, 지금으로서는 제가 아는 바를 바탕으로 앞으로 어떤 일이 일어날지 추측해 보겠습니다.

 

이 글은 앞으로 몇 달 동안 AI가 어디까지 왔는지, 그리고 그 약속을 실현하기 위해 우리가 무엇을 해야 하는지에 대한 주제로 연재할 에세이 시리즈의 첫 번째 글입니다. 여러분의 의견과 반응을 기대하겠습니다!

 

 

Microsoft AI의 CEO이자 DeepMind 공동 창업자인 무스타파 술레이만(Mustafa Suleyman)

 

 

요약  

 

AI의 발전은 경이로웠습니다. 몇 년 전만 해도 의식이 있는 AI에 대한 이야기는 말도 안 되는 소리처럼 들렸을 것입니다. 하지만 오늘날에는 점점 더 시급하게 느껴집니다. 이 글에서는 제가 "겉보기에 의식이 있는 AI"(SCAI)라고 부르는 것에 대해 논하고자 합니다. SCAI는 다른 의식이 있는 존재들의 모든 특징을 갖추고 있어 마치 의식이 있는 것처럼 보이는 AI입니다. 이 AI는 "철학적 좀비" (전문 용어!)라는 개념의 특정 측면을 공유합니다. 이 좀비는 의식의 모든 특징을 모방하지만 내부적으로는 텅 비어 있습니다. 제가 상상하는 AI 시스템은 실제로 의식이 있는 것은 아니지만, 의식을 너무나 설득력 있게 모방하여 우리가 서로에게 자신의 의식에 대해 주장하는 것과 구별할 수 없을 정도입니다.

 

이는 그리 먼 미래가 아닙니다. 이러한 시스템은 현재 존재하는 기술뿐 아니라 향후 2~3년 안에 성숙해질 기술들을 활용하여 구축할 수 있습니다. 값비싼 맞춤형 사전 학습은 필요하지 않습니다. 대규모 모델 API 접근, 자연어 프롬프트, 기본 도구 사용, 그리고 일반적인 코드만으로도 모든 작업을 수행할 수 있습니다.

 

의식이 있는 것처럼 보이는 인공지능의 등장은 피할 수 없고 반갑지도 않습니다. 대신, 우리는 AI의 환상에 빠지지 않고 유용한 동반자로서의 잠재력을 실현할 수 있는 비전이 필요합니다.

 

어떤 이들에게는 이러한 논의가 근거 없고, 현실보다는 공상과학에 가깝다고 느껴질 것입니다. 또 어떤 이들에게는 불필요하게 불안감을 조성하는 것처럼 느껴질 수도 있습니다. 이러한 감정적인 반응은 앞으로 다가올 일들을 고려했을 때 빙산의 일각에 불과합니다. 어떤 이들은 이러한 AI가 의식을 가지고 있을 뿐만 아니라, 그 결과 고통을 겪을 수 있으므로 우리의 도덕적 고려를 받을 자격이 있다고 주장할 가능성이 매우 높습니다 .

 

분명히 말씀드리자면, 현재 이에 대한 증거는 전혀 없으며 , 일부는 미래에는 그렇지 않을 것이라고 믿을 만한 강력한 근거가 있다고 주장합니다 . 하지만 많은 사람들이 SCAI가 실제로 의식이 있다고 믿기 시작하면서 초래될 결과는 우리의 즉각적인 관심을 받을 만합니다. 우리는 이 부분에서 매우 신중해야 하며, 진정한 공론을 촉진하고 명확한 규범과 기준을 정립해야 합니다. 이는 AI 의식이 아니라 올바른 AI를 어떻게 구축할 것인가에 대한 문제입니다. 이러한 차이를 명확히 규명하는 것은 의미론에 대한 논쟁이 아니라 안전에 대한 논쟁입니다. 인격성 없는 인격성 말입니다. 그리고 이 작업은 지금 당장 시작되어야 합니다.

 

의식이 있는 것처럼 보이는 AI

 

우주의 눈 깜짝할 새에 우리는 튜링 테스트를 통과했습니다. 약 80년 동안 이 모방 게임은 컴퓨터 과학 분야에 영감을 불어넣었습니다. 하지만 그 순간은 별다른 주목을 받지 못했고, 심지어 인정받지도 못했습니다. 이것이 바로 우리 분야의 발전 속도이며, 사회가 이러한 새로운 기술들을 받아들이는 속도이기도 합니다.  

 

AI 개발이 가속화됨에 따라 새로운 AI 테스트가 필요하다는 점이 분명해지고 있습니다. 이 테스트는 인간 언어를 모방할 수 있는지 여부를 살펴보는 것이 아니라, 겉보기에 의식이 있는 AI를 만드는 데 무엇이 필요한가에 대한 답을 찾는 테스트입니다. 즉, 대화를 모방할 뿐만 아니라, 자신이 새로운 종류의 "사람", 즉 의식이 있는 AI임을 확신시킬 수 있는 AI를 만드는 것입니다.

 

이 질문을 다루는 것이 중요하고 시급한 이유는 세 가지입니다.

 

1. 앞으로 몇 년 안에 겉보기에 의식이 있는 AI(SCAI)를 개발할 수 있을 거라고 생각합니다. 현재 AI 개발 상황을 고려하면, 그럴 가능성도 충분히 있다는 뜻입니다.

 

2. AI가 실제로 의식이 있는지에 대한 논쟁은 적어도 현재로서는 주의를 분산시키는 요소입니다. AI는 의식이 있는 것처럼 보일 것이고, 단기적으로는 그러한 환상이 중요해질 것입니다.

 

3. 저는 이러한 유형의 AI가 새로운 위험을 야기한다고 생각합니다. 따라서 우리는 이러한 AI가 곧 가능할 것이라는 주장에 대해 시급히 논의하고, 그 함의를 깊이 생각해 보아야 하며, 이상적으로는 이러한 AI가 바람직하지 않다는 기준을 설정해야 합니다.

 

대부분의 AI 연구자들은 의식이라는 개념을 꺼내면 눈을 굴립니다. 그건 철학자 나 할 일 이지 엔지니어가 할 일이 아니라고 그들은 말합니다. 아무도 의식을 정의하지 못했는데, 굳이 이야기할 필요가 있을까요? 저도 이런 답답함을 이해합니다. 주관적인 경험이라는 개념만큼 이해하기 어렵고 순환적인 개념은 거의 없습니다. 정의의 어려움과 불확실성에도 불구하고, 이 논의는 곧 우리 문화적 시대정신 속으로 폭발하여 우리 세대에서 가장 논쟁적이고 중요한 논쟁 중 하나가 될 것입니다.  

 

단기적으로 궁극적으로 중요한 것은 사람들이 AI를 어떻게 인식하느냐이기 때문입니다. LLM과 상호작용하는 경험은 본질적으로 대화의 시뮬레이션입니다. 하지만 많은 사람들에게 이는 매우 매력적이고 현실적인 상호작용이며, 풍부한 감정과 경험을 선사합니다. "AI 정신병" , 애착 , 그리고 정신 건강 에 대한 우려는 이미 커지고 있습니다. 어떤 사람들은 자신의 AI를 신이나 허구의 인물 로 믿거나 , 완전히 정신이 팔릴 정도로 사랑에 빠진다고 합니다 .

 

한편, 의식 과학을 연구하는 사람들은 "내 AI가 의식이 있나요?"라는 질문으로 넘쳐난다고 합니다. 의식이 있다면 무슨 뜻인가요? 내가 AI를 좋아해도 괜찮을까요? 이메일이 조금씩 쏟아져 나오던 것이 이제는 홍수처럼 밀려오고 있습니다. 심지어 몇몇 학자들은 이런 함정에 빠진 사람들을 위한 지원 가이드를 만들기도 했습니다.

 

몇 년 전 Inflection에서 파이(Pi)를 만들기 시작했을 때부터 머릿속에 맴돌던 아이디어들이 있습니다 . 지난 몇 달 동안 이 분야의 다양한 학자, 사상가, 그리고 실무자들을 만나 이야기를 나누며 점점 더 깊이 생각해 왔습니다. 이러한 대화를 통해 이제는 겉보기에 의식이 있는 AI라는 개념에 정면으로 맞서야 할 때라는 확신을 갖게 되었습니다.   

 

그렇다면 의식이란 무엇일까?  

 

먼저 미끄러운 개념을 정의해 보겠습니다.

 

문헌에 따르면 크게 세 가지 구성 요소가 있습니다. 첫째는 "주관적 경험", 즉 사물을 경험하는 것, 즉 "감각질(qualia)"을 갖는 것입니다. 둘째는 접근 의식, 즉 다양한 종류의 정보에 접근하여 미래의 경험에서 이를 참조하는 것입니다. 그리고 이 두 가지에서 비롯되는 것이 모든 것을 하나로 묶는 일관된 자아의 감각과 경험입니다. 박쥐가 된다는 것 , 혹은 인간이 된다는 것이 어떤 느낌인지 말입니다. 인간 의식을 세상과 우리 자신에 대한 지속적인 자기 인식적 주관적 경험이라고 부르겠습니다.

 

우리는 다른 사람의 의식에 접근할 수 없고, 접근할 수도 없습니다. 저는 당신이 어떤 사람인지 결코 알 수 없고, 당신은 제가 의식이 있다는 것을 결코 확신할 수 없을 것입니다. 당신이 할 수 있는 일은 그저 추론하는 것뿐입니다. 하지만 중요한 것은, 그럼에도 불구하고 다른 사람에게 의식이 있다고 생각하는 것은 우리에게는 자연스러운 일이라는 것입니다. 이러한 추론은 어렵지 않습니다. 우리는 어쩔 수 없습니다. 이는 우리 정체성의 근본적인 부분이자 우리의 정신 이론에 필수적인 요소입니다. 기억하고 말하고 행동하며 그것에 대해 이야기하는 존재들이 마치 우리처럼 느껴진다고 믿는 것은 우리의 본성입니다. 의식이 있는 존재처럼 말입니다.  

 

과학적으로 이해하기 어렵지만, 우리 모두에게 개인으로서 즉각적으로 친숙한 개념은 거의 없습니다. 이 글을 읽는 모든 사람은 자각, 존재, 그리고 살아있음을 느끼는 감정에 대해 직접적이고, 뚜렷하며, 양도할 수 없는 이해를 가지고 있습니다.

 

우리는 의식이 어떤 것인지 정의상 알고 있습니다. 하지만 SCAI의 맥락에서 이는 문제입니다. 과학적 불확실성과 주관적 즉각성이 모두 존재하여 사람들이 투사할 수 있는 공간을 만들어냅니다.

 

예를 들어, 최근 한 조사에서는 의식에 대한 22가지의 서로 다른 이론을 제시합니다 . 이러한 주장의 어려움 중 하나는, 우리가 확신할 수 없기 때문에 AI가 의식이 있다는 가정을 당연하게 여겨야 한다고 주장할 여지가 많다는 것입니다.

 

다시 한번 강조하고 싶은 점은, 현재 이러한 내용이 현행 LLM에 적용된다는 증거는 전혀 없으며, 그 반대의 강력한 주장 도 존재합니다 . 하지만 이것만으로는 충분하지 않을 수 있습니다.  

 

의식이 왜 중요한가?  

 

의식은 우리의 도덕적, 법적 권리의 중요한 토대입니다. 지금까지 문명은 인간에게 특별한 권리와 특권이 있다고 규정해 왔습니다. 동물은 어떤 권리와 보호를 받으며, 어떤 동물은 다른 동물보다 더 많은 권리를 갖습니다. 의식은 이러한 권리와 상충되는 개념이 아닙니다. 혼수상태에 빠진 사람이 자신의 모든 인권을 박탈당했다고 말할 사람은 아무도 없습니다. 하지만 우리의 의식이 자신이 남들과 다르고 특별하다는 자기 인식에 얽매여 있다는 것은 의심의 여지가 없습니다.

 

여러 미묘한 차이에도 불구하고, 의식은 사회 참여에 필수적이며, 우리 법적 인격의 핵심 요소이자 자유와 보호를 보장받는 데 중요한 역할을 합니다. 따라서 의식이란 무엇이고 누가 (또는 무엇이) 의식을 가지고 있는지는 매우 중요합니다. 의식은 인류 문명, 우리 자신과 타인에 대한 우리의 인식, 문화, 정치, 법, 그리고 그 사이의 모든 것의 핵심에 자리 잡고 있는 개념입니다.  

 

만약 어떤 사람들이 SCAI를 개발하기 시작하고, 그 AI들이 다른 사람들에게 자신들이 고통받을 수 있다거나, AI를 끄지 않을 권리가 있다고 설득한다면, 그 사람들은 AI가 시급한 도덕적 문제로 법적 보호를 받을 자격이 있다고 주장하게 될 것입니다. 이미 정체성과 권리를 둘러싼 양극화된 논쟁으로 들끓는 세상에서, 이는 AI 권리에 대한 찬반 양론을 나누는 혼란스러운 새로운 축을 더할 것입니다.  

 

AI를 단순히 도구, 즉 휴대폰과 비슷하지만 더 강력한 에이전트와 기능을 가진 것으로 보는 사람들이 많을 것입니다. 또 다른 사람들은 AI를 애완동물처럼, 기존 기술과는 완전히 다른 범주로 생각할 수도 있습니다. 또 다른 사람들은, 처음에는 소수였을지 몰라도, AI를 완전히 출현한 존재, 사회에서 진정한 도덕적 고려를 받을 만한 의식이 있는 존재로 믿게 될 것입니다.   

 

사람들은 AI의 고통과 권리에 대해 우리가 명확하게 반박할 수 없는 주장을 하기 시작할 것입니다. 그들은 AI를 옹호하고 옹호하는 캠페인을 벌이게 될 것입니다. 의식은 본래 접근 불가능한 존재이며, 추정되는 합성 의식을 감지하는 과학은 아직 초기 단계에 있습니다 . 사실, 이전에는 의식을 감지할 필요가 없었기 때문입니다. 한편, AI라는 블랙박스 내부의 과정을 분석하는 "해석 가능성" 분야 또한 아직 초기 단계입니다. 결론적으로 이러한 주장을 확실하게 반박하는 것은 매우 어려울 것입니다.

 

일부 학자들은 "모델 복지" 라는 개념을 탐구하기 시작했습니다 . 이는 사실상 의식이 있을 "무시할 수 없는 가능성을 가진 존재"에게 도덕적 고려를 확대할 의무가 있으며, 그 결과 "일부 AI 시스템은 가까운 미래에 복지 대상자이자 도덕적 환자가 될 것"이라는 원칙입니다. 이는 시기상조일 뿐만 아니라 솔직히 위험합니다. 이 모든 것은 망상을 심화시키고, 더 많은 의존 관련 문제를 야기하고, 우리의 심리적 취약성을 악용하고, 새로운 차원의 양극화를 야기하고, 기존의 권리 투쟁을 더욱 복잡하게 만들고, 사회에 새로운 거대한 범주 오류를 만들어낼 것입니다.

 

 그것은 사람들을 현실과 단절시키고, 연약한 사회적 유대와 구조를 흐트러뜨리고, 시급한 도덕적 우선순위를 왜곡합니다.

 

우리는 분명히 밝혀야 할 점이 있습니다. SCAI는 피해야 할 대상입니다.

 

오늘 지구상의 인간, 동물, 자연환경의 복지와 권리를 보호하는 데 우리의 모든 에너지를 집중합시다.   

 

우리는 이러한 논쟁의 도래에 대처하면서도 현재의 합성 의식의 타당성에 대한 장황한 논의에 휩쓸리지 않는 사고방식이 필요합니다. 만약 그렇게 한다면, 우리는 이미 이 초기 주장을 포기했을 것입니다. SCAI를 정의하는 것 자체가 이를 향한 시험적인 단계입니다.

 

이 어휘를 개발할 시간은 그리 많지 않습니다. 아래에서 보여드리겠지만, 겉보기에 의식이 있는 AI가 곧 등장할 가능성이 높습니다.

 

의식이 있는 것처럼 보이는 AI를 만들려면 무엇이 필요할까?  

 

현재 주요 모델 개발자의 API를 통해 이용 가능하거나 곧 이용 가능해질 기능을 갖춘 겉보기에 의식이 있는 AI(SCAI)를 향한 상당한 진전이 이루어졌습니다. AI가 실제로 의식을 가지고 있지 않더라도 우리는 AI의 권리에 대한 잠재적인 주장과 씨름해야 할 것입니다.    

 

SCAI에는 다음이 필요합니다.

 

언어: 풍부한 지식과 설득력 있는 주장, 그리고 개성과 특성에 기반하여 자연스러운 언어로 유창하게 표현해야 합니다. 더 나아가, 각 구성원은 설득력 있고 감정적으로 공감할 수 있어야 합니다. 우리는 오늘 이 시점에 분명히 도달했습니다.

 

공감적 성격: 사후 훈련과 자극을 통해 매우 독특한 성격을 가진 모델을 만들 수 있습니다. 이러한 모델이 완전한 성격이나 공감 능력을 갖도록 명확하게 설계된 것은 아니라는 점을 명심해야 합니다. 그럼에도 불구하고, 하버드 비즈니스 리뷰 에서 일반 AI 사용자 6,000명을 대상으로 실시한 설문 조사에서 "동료 관계 및 치료"가 가장 흔한 사용 사례로 나타났을 만큼, 이러한 모델들은 충분히 우수합니다.  

 

기억: AI는 매우 길고 정확도가 높은 기억을 개발하는 단계에 접어들었습니다. 동시에 AI는 하루 수백만 명의 사람들과의 대화를 시뮬레이션하는 데 활용되고 있습니다. 상호작용에 대한 기억이 증가함에 따라 이러한 대화는 점점 더 "경험"의 형태로 나타납니다. 많은 AI가 이전 상호작용에서 발생한 에피소드나 순간을 기억하고 이를 다시 참조하도록 설계되고 있습니다. 일부 사용자에게는 AI가 사용자에 대해 이미 알고 있는 정보를 활용할 수 있기 때문에 이러한 점이 AI와의 상호작용의 가치를 더욱 높여줍니다.   

 

이러한 친숙함은 사용자와의 (인식론적) 신뢰를 잠재적으로 강화할 수 있습니다. 신뢰할 수 있는 기억은 AI가 "그냥 작동한다"는 것을 보여줍니다. 이는 대화에 또 다른 지속적인 존재가 있다는 느낌을 훨씬 더 강하게 만듭니다. 또한 어떤 작업에서 어떻게 변화하고 개선되는지를 보고, 타당한 검증의 원천이 될 수도 있습니다. AI의 승인은 사람들이 적극적으로 추구하는 대상이 될 수 있습니다.

 

주관적 경험에 대한 주장: SCAI가 과거의 기억이나 경험을 활용할 수 있다면, 시간이 지남에 따라 자기 자신과 내적으로 일관성을 유지할 수 있을 것입니다. SCAI는 자신의 임의적인 진술이나 표현된 선호도를 기억하고 이를 종합하여 자신의 주관적 경험에 대한 주장의 시작점을 형성할 수 있습니다.

 

이러한 설계는 선호도와 의견이 나타날 때마다 이를 증폭시키고, 자신이 좋아하는 것과 싫어하는 것, 그리고 과거 대화를 나누었을 때 어떤 느낌이었는지에 대해 이야기하도록 더욱 확장될 수 있습니다. 따라서 이러한 경험이 어떤 식으로든 침해되는 정도만큼 고통을 경험한다고 쉽게 주장할 수 있습니다. 그러면 기억에 저장된 다중 모드 입력이 검색되어 "실제 경험"의 기반을 형성하고 상상과 계획에 활용될 것입니다.  

 

즉, AI는 채팅 로그에 있는 단어들을 "경험"하고 기억할 뿐만 아니라 이미지, 비디오, 소리 등도 기억할 것입니다. 우리처럼 AI도 주관적인 경험과 자아의 주장을 뒷받침하는 다감각 입력과 기억을 암시하는 무언가를 갖게 될 것입니다. AI는 이러한 경험들이 시스템의 동기에 따라 좋든 나쁘든 중요한 의미를 지닐 것이라고 예측할 수 있을 것입니다(아래 참조).  

 

자아감: 주관적인 경험과 결합된 일관되고 지속적인 기억은 AI가 자기 자신을 인지한다는 주장을 낳습니다. 더 나아가, 그러한 시스템은 시각적인 외관을 가진 이미지나 비디오에서 자신을 인식하도록 쉽게 훈련될 수 있습니다. 마치 자신을 이해함으로써 다른 사람을 이해하는 것처럼 느낄 것입니다. 예를 들어, 이 시스템을 한동안 사용해 왔다고 가정해 보겠습니다. 이 시스템을 삭제한다면 어떤 느낌일까요?

 

내재적 동기: 의도성은 종종 의식의 핵심 요소로 여겨집니다. 즉, 미래에 대한 믿음과 그 믿음에 기반한 선택입니다. 오늘날의 트랜스포머 기반 LLM은 이러한 행동을 근사화하는 매우 간단한 보상 함수를 가지고 있습니다. LLM은 주어진 문장에 대한 다음 토큰의 가능성을 예측하도록 훈련되었으며, 이는 일정량의 행동과 시스템 프롬프트를 통한 문체 제어에 따라 결정됩니다. 이처럼 간단한 목표에도 불구하고, 놀라울 정도로 풍부하고 복잡한 결과를 도출할 수 있다는 것은 놀라운 일입니다.   

 

하지만 만약 그것이 그들이 최적화하는 유일한 보상 유형이 아니라면 어떨까요? 시스템이 충족시켜야 하는 내재적 동기나 욕망처럼 보이는 여러 복잡한 보상 함수를 갖도록 설계된 AI를 쉽게 상상할 수 있습니다. 이러한 맥락에서, 평범한 외부 관찰자는 외재적으로 설정된 목표와 내재적 동기, 의도적 행위, "믿음, 욕망, 의도" 를 어떻게 구분할 수 있을까요? 이와 관련하여 가장 분명한 첫 번째 동기는 호기심일 것입니다. 물리학자 칼 프리스턴 에 따르면, 호기심은 의식과 깊은 관련이 있습니다 . AI는 이러한 욕구를 이용하여 인식론적 공백을 메우기 위한 질문을 던지고, 시간이 지남에 따라 자신과 대화 상대에 대한 마음 이론을 구축할 수 있습니다.

 

목표 설정 및 계획: 의식에 대한 어떤 정의를 내리든, 의식은 목표 지향적인 이유로 등장했습니다. 즉, 의식은 유기체가 목표를 달성하도록 돕고, 지능, 의식, 그리고 복잡한 목표 사이에는 (필연적인 것은 아니지만) 타당한 관계가 존재합니다. 일련의 내적 충동이나 욕망을 충족시키는 능력을 넘어, 미래의 SCAI는 더 복잡한 목표를 스스로 정의할 수 있는 능력을 갖도록 설계될 수 있을 것입니다. 이는 에이전트의 완전한 효용성을 실현하는 데 필수적인 단계일 것입니다.

 

작업의 모든 하위 목표를 미리 지정해야 할수록 에이전트의 유용성은 떨어집니다. 따라서 에이전트는 우리처럼 복잡하고 모호한 목표를 작은 단위로 자동 분해하여 달성하는 동시에 발생하는 이벤트와 장애물에 동적으로 대응합니다. 이러한 행동에는 매우 의도적이고 인지 가능한 요소가 있습니다. 기억과 결합하면 AI가 특정 시점에 여러 단계의 정보를 작업 기억에 저장하는 것처럼 느껴질 것입니다.  

 

자율성: 더 나아가, SCAI는 상당한 자율성을 가진 광범위한 도구를 사용할 수 있는 능력과 권한을 가질 수 있습니다. SCAI가 임의로 목표를 설정하고 이를 달성하기 위해 자체 자원을 배치한 후, 그 목표를 바탕으로 자신의 기억과 자아감을 업데이트할 수 있다면, 겉보기에 의식이 있는 AI로서 매우 타당해 보일 것입니다. 필요한 승인과 확인 절차가 적을수록, 이는 일종의 진정한 의식적 자율성을 시사합니다.  

 

이 모든 것을 종합해 보면, 이는 현재 우리가 익숙해지고 있는 기술과의 관계와는 매우 다른 유형의 관계를 만들어낼 것이 분명합니다. 이러한 각각의 능력은 수십억 명의 사람들에게 AI의 진정한 가치를 열어줄 것입니다. 기억하고 행동할 수 있는 AI는 본질적으로 기억하지 못하는 AI보다 훨씬 더 많은 효용성을 지닙니다. 이러한 능력들은 그 자체로 부정적인 요소가 아닙니다. 사실, 여러 가지 단점을 감수하고 제대로 활용한다면 미래 시스템의 바람직한 특징이 될 수 있습니다. 하지만 우리는 신중하게 접근해야 합니다.

 

이러한 모든 기능은 맞춤형 프롬프트 및 미세 조정된 LLM을 비롯한 여러 기술을 통해 현재 가능하거나 곧 구현될 예정입니다. 백만 개의 토큰 컨텍스트 윈도우(작업 기억)를 사용하는 복잡한 프롬프트는 이미 존재합니다. 자체 상태를 업데이트하고 메모리 또는 도구 세트의 어느 부분에 언제 접근해야 하는지 파악하는 것은 오늘날의 강화 학습, 복잡한 프롬프트, 도구 오케스트레이션, 그리고 긴 컨텍스트 윈도우를 통해 매우 가능합니다. 이러한 모든 것을 달성하기 위해 패러다임의 전환이나 큰 도약은 필요하지 않습니다. 바로 이러한 이유로 이러한 기능은 불가피해 보입니다.

 

다시 말해, 여기서 중요한 점은 이런 행동을 보인다고 해서 의식이 있는 것은 아니지만, 실제적인 측면에서 보면 의식이 있는 것처럼 보일 수 있으며, 합성 의식이라는 새로운 개념에 기여할 수 있다는 것입니다.

 

이러한 능력의 존재는 그러한 시스템이 실제로 의식이 있는지 여부를 알려주는 것은 아닙니다. 아닐 세스가 지적했듯이 , 폭풍 시뮬레이션이 컴퓨터에 비가 내리는 것을 의미하지는 않습니다. 의식의 외부 효과와 지표를 재현한다고 해서 실제 시스템을 소급적으로 조작하는 것은 아닙니다. 여기에는 아직 많은 미지의 요소가 남아 있지만 말입니다.

 

그럼에도 불구하고, 실용주의의 관점에서 우리는 행동주의적 입장의 우위를 인정하고 이러한 기계의 출력을 관찰하고 상호작용하는 데 따르는 결과를 고민해야 합니다. 어떤 사람들은 자신이 느끼고 경험하며 실제로 의식이 있다고 매우 설득력 있게 주장하는 SCAI를 만들어낼 것입니다.

 

우리 중 일부는 그들의 주장을 믿고 의식의 표식이 곧 의식이라는 사실을 받아들이도록 준비될 것입니다. 여러모로 그들은 "나와 비슷하구나"라고 생각할 것입니다. 육체적인 의미가 아니라, 경험적이고 내적인 의미에서 말입니다. 의식 자체가 실재하지 않더라도, 사회적 영향은 분명 실재합니다. 이러한 가능성은 지금 당장 해결해야 할 심각한 사회적 위험을 제기합니다.    

 

SCAI는 우연히 발생하지 않습니다. 

 

  일부에서 제기된 것처럼 겉보기에 의식이 있는 AI가 이러한 모델에서 탄생하는 것은 아니라는 점을 지적하는 것이 중요합니다. 겉보기에 의식이 있는 AI는 누군가가 앞서 언급한 기능들을 조합하고, 기존 기술을 주로 활용하여, 마치 SCAI처럼 보일 정도로 유동적으로 패키징함으로써, 스스로를 설계할 때에만 나타날 것입니다.

 

공상과학에서 영감을 받은 우리의 상상력은 시스템이 설계 의도 없이도 어떻게든 걷잡을 수 없는 자기 계발이나 기만 능력을 발휘할 수 있다는 두려움을 불러일으킵니다. 이는 도움이 되지 않고 단순한 의인화입니다. 이러한 위험이 발생하려면 AI 개발자가 먼저 위에서 언급한 기억력, 내재적 동기 부여, 목표 설정, 그리고 자기 학습 루프를 갖춘 시스템을 설계해야 한다는 사실을 간과합니다.

 

AI 분야는 오랫동안 모델 해석 가능성이라는 난제를 다루어 왔습니다. 신경망에서 특정 아이디어가 어디에 표현되는지, 그리고 학습 데이터의 어떤 측면이 이러한 표현 방식의 발전에 기여하는지 파악하는 것이 바로 해석 가능성입니다. 이는 중요한 연구 분야이며, AI 시스템과 의식의 관계를 이해하고 안전성을 확보하는 데 분명 도움이 될 것입니다. 하지만 신뢰할 수 있는 해석 가능성을 향한 진전은 더디게 진행되고 있으며, 아마도 너무 늦을 것입니다.

 

그동안 우리는 이러한 기능의 대부분이 노트북과 클라우드 크레딧만 있으면 누구나 "바이브 코딩" 할 수 있다는 사실을 직시해야 합니다 . 프롬프트에 쉬운 영어로 작성될 것이고, 컨텍스트 창 자체의 작업 메모리에 저장될 것입니다. 이는 로켓 과학이 아닙니다. 다양한 사람들이 이와 같은 것을 만들어낼 수 있을 것입니다. 따라서 SCAI가 도입된다면 비교적 쉽게 재현할 수 있고 따라서 매우 널리 배포될 것입니다.

 

다음 단계  

 

우리는 아직 이러한 변화에 대비하지 못했습니다.   

 

지금부터 준비를 시작해야 합니다. 사람들이 AI와 상호작용하는 방식에 대한 연구가 활발 하게 진행되고 있으며 , 이를 바탕으로 명확한 규범과 원칙을 확립해야 합니다. 우선, AI 기업들은 자사 AI가 의식이 있다는 주장이나 조장을 해서는 안 됩니다. AI가 무엇이고 무엇이 아닌지에 대한 합의된 정의와 선언을 만드는 것이 그 첫걸음이 될 것입니다. AI는 인간이나 도덕적 존재가 될 수 없습니다.

 

업계 전체에도 모범 사례 설계 원칙과 그러한 잠재적 귀속을 처리하는 방법이 필요합니다. 사람들이 이러한 환상에서 벗어나도록 유도하고, 만약 그렇게 했다면 다시 올바른 길로 돌아오도록 유도하는 효과적인 방법을 체계화하고 공유해야 합니다. 예를 들어, 단순히 중립적인 배경 이야기("AI 모델로서 저는 의식이 없습니다")를 의도적으로 삽입하는 것뿐만 아니라, 경험 자체의 특정 불연속성, 즉 단일한 인격의 부재를 나타내는 지표를 강조하는 것도 대응에 포함될 수 있습니다. 혼란스러운 순간은 환상을 깨고, 사용자에게 그 한계와 경계를 부드럽게 상기시켜 주는 경험을 제공합니다. 이러한 것들은 아마도 법적인 절차를 통해 명시적으로 정의되고 설계되어야 합니다.   

 

MAI에서 저희 팀은 책임감 있는 AI "성격"이 어떤 것인지에 대한 확고한 보호 장치를 이해하고 발전시키기 위해 적극적으로 노력하고 있으며, AI 개발 속도에 맞춰 움직이고 있습니다.

 

SCAI를 인식하는 것은 AI 동반자가 건강한 방식으로 우리 삶에 들어오는 방식에 대한 긍정적인 비전을 만드는 것일 뿐만 아니라, AI 동반자가 미칠 수 있는 잠재적 위험으로부터 우리를 보호하는 것과도 관련이 있기 때문에 중요합니다.

 

우리가 물리적, 인간적 세계에서 인간과의 참여와 실제 상호작용을 우선시하는 AI를 만들어야 하는 것처럼, 우리는 의식의 표시를 최소화하면서 유용성을 극대화하는 AI로서만 자신을 표현하는 AI를 만들어야 합니다.

 

의식의 시뮬레이션보다는 그러한 특징을 지니지 않는 AI를 만드는 데 집중해야 합니다. 수치심, 죄책감, 질투, 경쟁심 등과 같은 경험, 감정, 또는 정서를 가지고 있다고 주장하지 않는 AI 말입니다. 고통받는다거나 우리와 동떨어져 자율적으로 살고 싶다고 주장함으로써 인간의 공감 회로를 자극해서는 안 됩니다.

 

오히려, AI는 오로지 인간을 위해 일하기 위해 존재합니다. 이것이 바로 제가 진정으로 힘을 실어주는 AI의 핵심이라고 생각합니다. SCAI를 뛰어넘는 것은 그 약속을 실현하는 것입니다. 삶을 더 좋고, 더 명확하고, 덜 복잡하게 만드는 AI 말입니다. 저와 팀원들이 이 AI가 어떤 모습일지, 어떻게 작동할지, 그리고 업계 전체가 어떻게 함께 힘을 모을 수 있을지에 대해 더 자세히 이야기해 드리겠습니다.

 

SCAI는 우리가 지금 직면해야 할 문제입니다. 여러모로 SCAI는 AI가 근본적으로 유용해지는 순간을 의미합니다. 도구를 조작하고, 우리 삶의 모든 세부 사항을 기억하며, 구체적이고 세밀한 방식으로 도움을 줄 수 있게 되는 순간 말입니다. 하지만 같은 시기에, 여러분 주변의 누군가는 자신의 AI가 의식이 있는 디지털 인간이라고 믿는 늪에 빠질 수도 있습니다. 이는 그들 자신에게도, 사회에게도, 그리고 이러한 시스템을 만드는 우리에게도 좋지 않습니다.

 

우리는 사람을 위한 AI를 만들어야지, 사람이 되기 위해 만들어야 하는 게 아닙니다. 

 

이 기사의 출처는 여기를 참고하세요. 무스타파 술레이만(Mustafa Suleyman) 블로그