Governance of superintelligence 초지능의 거버넌스

 

 

AI 시스템이 인간 수준(인공 일반 지능(AGI)이라고도 하는 패러다임)에 도달하거나 오픈AI가 경고한 것처럼 전문가 수준의 인간 능력까지 뛰어넘을 가능성에 대해서는 여전히 많은 논쟁이 있다. 많은 전문가들은 기계가 인간의 인지 능력을 따라잡거나 능가하는 것은 피할 수 없는 일이라고 주장한다.

 

이 블로그 게시물은 정부의 감독을 강화하고, 의사 결정 과정에 대중을 참여시키며, 해당 분야의 개발자와 기업 간의 협업을 강화할 것을 제안한다. 이러한 내용은 최근 의회 청문회에서 상원 소위원회 위원들의 질의에 대해 알트먼이 답변한 내용을 반영하고 있다.

 

포스팅 글의 원문은 다음 링크를 참고한다.

 

 

초지능의 거버넌스

 

지금이야말로 초지능의 거버넌스, 즉 AGI보다 훨씬 더 뛰어난 기능을 갖춘 미래 AI 시스템에 대해 생각해 볼 때입니다. 

현재 상황을 고려할 때, 향후 10년 이내에 AI 시스템은 대부분의 영역에서 전문가의 기술 수준을 뛰어넘어 오늘날의 대기업 못지않은 생산적인 활동을 수행할 수 있을 것으로 예상할 수 있습니다.

 

잠재적인 장점과 단점을 모두 고려할 때, 초지능은 인류가 과거에 맞서 싸워야 했던 다른 기술보다 더 강력할 것입니다. 우리는 극적으로 더 풍요로운 미래를 맞이할 수 있지만, 그러기 위해서는 위험을 관리해야 합니다. 실존적 위험의 가능성을 고려할 때 우리는 사후 대응만 할 수는 없습니다. 원자력은 이러한 속성을 가진 기술의 대표적인 역사적 사례이며, 합성 생물학은 또 다른 예입니다.

 

오늘날의 AI 기술도 위험을 완화해야 하지만, 초지능은 특별한 관리와 조율이 필요합니다.

 

출발점

 

이러한 발전을 성공적으로 이끌기 위해서는 여러 가지 아이디어가 필요하지만, 여기서는 그 중 세 가지에 대한 초기 생각을 정리해 보겠습니다.

 

첫째, 초지능 개발이 안전을 유지하고 이러한 시스템을 사회와 원활하게 통합하는 데 도움이 되는 방식으로 이루어지도록 하기 위해 선도적인 개발 노력 간에 어느 정도의 조정이 필요합니다. 이를 구현할 수 있는 방법은 여러 가지가 있습니다. 전 세계 주요 정부가 현재 많은 노력이 참여하는 프로젝트를 설립하거나, 아래에서 제안한 것과 같은 새로운 조직의 지원을 받아 최전선에서 AI 역량의 성장 속도를 연간 일정 비율로 제한하는 데 집단적으로 동의할 수 있습니다.

 

물론 개별 기업들은 매우 높은 수준의 책임감 있는 행동을 보여야 합니다.

 

둘째, 결국에는 초지능화 노력을 위해 IAEA와 같은 기관이 필요할 것입니다. 특정 역량(또는 컴퓨팅과 같은 리소스) 임계값을 초과하는 모든 노력은 시스템을 검사하고 감사를 요구하며 안전 표준 준수 여부를 테스트하고 배포 정도와 보안 수준에 제한을 둘 수 있는 국제 기관의 적용을 받아야 할 것입니다. 컴퓨팅 및 에너지 사용량을 추적하는 것은 큰 도움이 될 수 있으며, 이 아이디어가 실제로 구현될 수 있을 것이라는 희망을 갖게 합니다. 첫 번째 단계로, 기업들이 자발적으로 그러한 기관이 언젠가 요구할 수 있는 요소를 구현하는 데 동의하고, 두 번째 단계로 개별 국가가 이를 구현할 수 있습니다. 이러한 기관은 AI가 무엇을 말할 수 있는지 정의하는 것과 같이 개별 국가에 맡겨야 하는 문제가 아니라 실존적 위험을 줄이는 데 초점을 맞추는 것이 중요할 것입니다.

 

셋째, 초지능을 안전하게 만들 수 있는 기술적 역량이 필요합니다. 이 문제는 우리와 다른 연구자들이 많은 노력을 기울이고 있는 공개적인 연구 질문입니다.

 

허용되지 않는 범위

 

저희는 기업과 오픈소스 프로젝트가 라이선스나 감사와 같은 부담스러운 메커니즘과 같은 규제 없이도 상당한 역량 임계값 이하의 모델을 개발할 수 있도록 허용하는 것이 중요하다고 생각합니다.

 

오늘날의 시스템은 전 세계에 엄청난 가치를 창출할 것이며, 위험은 존재하지만 그 위험의 수준은 다른 인터넷 기술에 상응하는 수준이며 사회가 적절한 접근 방식을 취할 가능성이 높다고 생각합니다.

 

반면에 우리가 우려하는 시스템은 아직 만들어진 어떤 기술보다 강력한 힘을 가질 것이며, 이 기준에 훨씬 못 미치는 기술에 유사한 기준을 적용함으로써 이 시스템에 대한 집중력을 떨어뜨리지 않도록 주의해야 합니다.

 

대중의 의견과 잠재력

 

그러나 가장 강력한 시스템의 거버넌스와 배포에 관한 결정은 반드시 대중의 강력한 감독을 받아야 합니다. Facebook은 전 세계 사람들이 AI 시스템의 한계와 기본값을 민주적으로 결정해야 한다고 믿습니다. 아직 이러한 메커니즘을 어떻게 설계할지 모르지만, 개발을 위해 실험할 계획입니다. 이러한 넓은 범위 내에서 개별 사용자가 자신이 사용하는 AI의 작동 방식에 대해 많은 통제권을 가져야 한다고 계속 생각하고 있습니다.

 

위험과 어려움을 고려할 때, 왜 이 기술을 개발하는지에 대해 생각해 볼 필요가 있습니다.

 

OpenAI에는 두 가지 근본적인 이유가 있습니다. 첫째, 현재 우리가 상상할 수 있는 것보다 훨씬 더 나은 세상을 만들 수 있다고 믿기 때문입니다(이미 교육, 창작 작업, 개인 생산성 등의 분야에서 그 초기 사례가 나타나고 있습니다). 이 기술은 우리 사회를 개선할 수 있으며, 이러한 새로운 도구를 사용하는 모든 사람의 창의적인 능력은 우리를 놀라게 할 것입니다. 경제 성장과 삶의 질 향상은 놀라울 것입니다.

 

둘째, 초지능의 생성을 막는다는 것은 직관적으로 위험하고 어렵다고 생각합니다. 장점은 엄청나고, 구축 비용은 매년 감소하고, 구축하는 주체의 수는 빠르게 증가하고 있으며, 본질적으로 우리가 가고 있는 기술 경로의 일부이기 때문에 이를 막으려면 글로벌 감시 체제와 같은 것이 필요하며, 그것조차도 작동한다는 보장이 없습니다. 따라서 우리는 이를 바로잡아야 합니다. 

 

 

Governance of superintelligence 초지능의 거버넌스