구글의 스타 윤리 연구원이 구글 비즈니스의 핵심인 대규모 언어 모델의 위험성을 강조

 

팀닛 게브루를 구글에서 쫓아낸 논문을 읽었습니다. 그 내용은 다음과 같습니다. 구글의 스타 윤리 연구원이 구글 비즈니스의 핵심인 대규모 언어 모델의 위험성을 강조했습니다. By Karen Hao 

 

12월 2일 수요일 저녁, 구글의 윤리적 AI 팀 공동 책임자인 팀닛 게브루는 트위터를 통해 구글이 자신을 강제 퇴사시켰다고 발표했습니다.

 

AI 윤리 연구 분야에서 널리 존경받는 리더인 게브루는 얼굴 인식이 여성과 유색인종을 식별하는 데 정확도가 떨어지며, 이는 결국 이들을 차별할 수 있음을 보여주는 획기적인 논문을 공동 저술한 것으로 유명합니다. 또한 Black in AI 친화성 그룹을 공동 설립하여 기술 업계의 다양성을 옹호하고 있습니다. 그녀가 구글에서 구축하는 데 도움을 준 팀은 AI 분야에서 가장 다양성을 갖춘 팀 중 하나이며, 각 분야의 최고 전문가들이 다수 포함되어 있습니다. 이 분야의 동료들은 주류 AI 관행에 종종 도전하는 중요한 작업을 수행하는 이 팀을 부러워했습니다.

 

일련의 트윗, 유출된 이메일, 언론 기사에 따르면 게브루의 퇴사는 그녀가 공동 집필한 다른 논문을 둘러싼 갈등의 정점이었다고 합니다. Google AI 책임자인 Jeff Dean은 내부 이메일(이후 온라인에 공개)을 통해 동료들에게 이 논문이 "Google의 출판 기준을 충족하지 못했다"고 말했으며, Gebru는 Google이 충족할 의사가 없는 여러 조건을 충족하지 않으면 사임하겠다고 말했습니다. 게브루는 휴가를 마치고 돌아온 후 "마지막 고용 날짜"를 협상하자고 요청했다고 트위터에 올렸습니다. 그녀는 복귀하기 전에 회사 이메일 계정이 차단되었습니다.

 

온라인에서는 AI 윤리 분야의 다른 많은 리더들이 게브루가 구글 연구의 핵심 라인과 수익에 대해 폭로한 불편한 진실 때문에 회사가 그녀를 쫓아냈다고 주장하고 있습니다. 1,400명 이상의 Google 직원과 1,900명의 다른 지지자들도 항의 서한에 서명했습니다.

 

게브루가 퇴사하게 된 정확한 일련의 사건에 대한 자세한 내용은 아직 밝혀지지 않았으며, 게브루와 구글 모두 소셜 미디어에 올린 글 외에 다른 언급을 거부하고 있습니다. 하지만 MIT 테크놀로지 리뷰는 공동 저자 중 한 명인 워싱턴 대학교의 컴퓨터 언어학 교수 에밀리 벤더(Emily M. Bender)로부터 연구 논문의 사본을 입수했습니다. 저자들이 온라인에 초기 초안이 유포되는 것을 원치 않아 논문 자체를 공개하지 말아달라고 요청했지만, 이 논문은 게브루와 그녀의 동료들이 제기한 AI에 대한 의문과 구글의 우려에 대해 어느 정도 통찰력을 제공합니다.

 

"확률적 앵무새의 위험성에 대해: 언어 모델이 너무 커질 수 있는가?"에서는 엄청난 양의 텍스트 데이터로 학습된 대규모 언어 모델, 즉 AI의 위험성을 설명합니다. 이러한 모델은 지난 3년 동안 점점 인기를 얻으며 그 규모가 점점 커지고 있습니다. 적절한 조건에서 설득력 있고 의미 있는 새로운 텍스트를 생성하고 때로는 언어에서 의미를 추정하는 데 매우 능숙해졌습니다. 그러나 논문 서문에서는 "우리는 이러한 기술을 개발할 때 발생할 수 있는 잠재적 위험과 이러한 위험을 완화하기 위한 전략에 대해 충분히 고려했는지 묻고 있습니다."라고 말합니다.

 

논문 내용

 

다른 연구자들의 연구를 바탕으로 작성된 이 논문은 자연어 처리의 역사, 대규모 언어 모델의 네 가지 주요 위험에 대한 개요, 추가 연구를 위한 제안을 제시합니다. Google과의 갈등은 위험에 관한 것이므로 여기서는 이러한 위험에 대해 요약하는 데 중점을 두었습니다.

 

환경 및 재정적 비용

 

대규모 AI 모델을 학습하려면 많은 컴퓨터 처리 능력이 필요하므로 많은 전기가 소모됩니다. 게브루와 공동 저자들은 대규모 언어 모델의 탄소 배출량과 재정적 비용에 관한 2019년 엠마 스트루벨과 공동 연구자들의 논문을 참고했습니다. 이 논문은 모델에 점점 더 많은 데이터가 공급됨에 따라 에너지 소비와 탄소 발자국이 2017년부터 폭발적으로 증가하고 있음을 발견했습니다. 

 

일반적인 탄소 발자국 벤치마크 

 

Strubell의 연구에 따르면 특정 유형의 '신경 구조 검색(NAS)' 방법으로 언어 모델 하나를 학습시키면 미국 평균 자동차 5대의 평생 배출량에 해당하는 626,155파운드(284미터톤)의 이산화탄소를 배출할 수 있는 것으로 나타났습니다. Google의 검색 엔진을 뒷받침하는 언어 모델인 BERT 버전을 학습시킬 때 Strubell의 추정에 따르면 1,438파운드의 이산화탄소가 발생했으며, 이는 뉴욕과 샌프란시스코를 왕복하는 비행기와 거의 같은 양입니다. 이 수치는 모델을 한 번 훈련시키는 데 드는 최소한의 비용으로 보아야 합니다. 실제로 모델은 연구 개발 과정에서 여러 번 훈련되고 재훈련됩니다.  

 

모델 한 번 훈련하는 데 드는 예상 비용

실제로는 연구 개발 과정에서 모델을 여러 번 훈련하는 것이 일반적입니다. 

 

게브루의 논문 초안은 이러한 대규모 AI 모델을 구축하고 유지하는 데 필요한 막대한 자원은 부유한 조직에 혜택을 주는 반면, 기후 변화는 소외된 지역사회에 가장 큰 타격을 준다는 점을 지적합니다. "연구자들이 에너지 효율과 비용을 우선시하여 환경에 미치는 부정적인 영향과 자원에 대한 불평등한 접근을 줄여야 할 때가 지났습니다."라고 그들은 썼습니다.

 

방대한 데이터, 이해하기 어려운 모델

 

대용량 언어 모델도 기하급수적으로 증가하는 텍스트 양에 대해 학습됩니다. 즉, 연구자들은 인터넷에서 가능한 모든 데이터를 수집하려고 노력하기 때문에 인종 차별, 성 차별 및 기타 모욕적인 언어가 학습 데이터에 포함될 위험이 있습니다.

 

인종 차별적 언어를 정상으로 간주하도록 학습된 AI 모델은 분명히 나쁜 것입니다. 하지만 연구자들은 몇 가지 미묘한 문제를 지적합니다. 하나는 언어의 변화가 사회 변화에 중요한 역할을 한다는 것입니다. 예를 들어 미투 운동과 흑인의 생명도 소중하다는 운동은 새로운 반성차별주의 및 반인종주의 어휘를 확립하려고 노력해 왔습니다. 방대한 양의 인터넷에서 학습된 AI 모델은 이러한 어휘의 뉘앙스에 적응하지 못하고 이러한 새로운 문화적 규범에 맞게 언어를 생성하거나 해석하지 못합니다.

 

또한 인터넷에 대한 접근성이 낮고 온라인에서 언어적 영향력이 적은 국가와 민족의 언어와 규범을 포착하지 못할 것입니다. 그 결과 AI가 생성하는 언어는 가장 부유한 국가와 커뮤니티의 관행을 반영하여 동질화될 것입니다.

 

게다가 학습 데이터 세트가 너무 방대하기 때문에 이러한 편견이 내재되어 있는지 확인하기 위한 감사가 어렵습니다. "따라서 문서화하기에는 너무 큰 데이터 세트에 의존하는 방법론은 본질적으로 위험합니다."라고 연구원들은 결론을 내립니다. "문서화는 잠재적인 책임을 물을 수 있지만, [...] 문서화되지 않은 훈련 데이터는 의지할 곳 없이 피해를 영속화합니다." 

 

연구 기회 비용

 

연구자들은 세 번째 과제를 "잘못된 방향으로의 연구 노력"의 위험으로 요약합니다. 대부분의 AI 연구자들은 대규모 언어 모델이 실제로 언어를 이해하지 못하고 단지 언어를 조작하는 데 능숙할 뿐이라는 사실을 인정하지만, 빅테크는 언어를 더 정확하게 조작하는 모델을 통해 돈을 벌 수 있기 때문에 계속 투자하고 있습니다. 게브루와 그녀의 동료들은 "이러한 연구 노력에는 기회 비용이 수반됩니다."라고 말합니다. 더 많은 이해를 얻을 수 있거나 더 작고 신중하게 선별된 데이터 세트로 좋은 결과를 얻을 수 있는(따라서 에너지 사용량도 적은) AI 모델을 연구하는 데 많은 노력을 기울이지 않기 때문입니다.

 

의미의 착각

 

연구진은 대규모 언어 모델의 마지막 문제점은 실제 인간의 언어를 모방하는 데 매우 능숙하기 때문에 사람들을 속이는 데 사용하기 쉽다는 점이라고 말합니다. 한 대학생이 블로그에 AI가 생성한 자조적인 조언과 생산성 향상을 위한 조언을 게시하여 입소문을 낸 것과 같이 몇 가지 유명한 사례가 있었습니다.

 

예를 들어, AI 모델이 선거나 코로나19 팬데믹에 대한 잘못된 정보를 생성하는 데 사용될 수 있다는 위험성은 분명합니다. 또한 기계 번역에 사용될 때 의도치 않게 잘못될 수도 있습니다. 연구원들은 한 가지 예를 들었습니다: 2017년, 페이스북은 아랍어로 "좋은 아침"이라고 한 팔레스타인 남성의 게시물을 히브리어로 "그들을 공격하라"고 잘못 번역하여 그가 체포되는 사태를 초래했습니다.

 

중요한 이유

 

게브루와 벤더의 논문에는 6명의 공저자가 있으며, 그 중 4명은 Google 연구원입니다. 벤더는 파장을 우려해 이들의 이름을 공개하지 말아 달라고 요청했습니다. (반면에 벤더는 종신 교수입니다: "저는 이것이 학문의 자유의 가치를 강조하는 것이라고 생각합니다."라고 그녀는 말합니다.)

 

벤더는 이 논문의 목표는 자연어 처리 분야의 현재 연구 환경을 파악하는 것이었다고 말합니다. "우리는 데이터를 구축하는 사람들이 실제로 데이터를 다룰 수 없는 규모에서 작업하고 있습니다."라고 그녀는 말합니다. "장점은 너무 분명하기 때문에 한 발 물러나서 어떤 단점이 있는지 자문해 보는 것이 특히 중요합니다. 어떻게 하면 위험을 완화하면서 이점을 얻을 수 있을까요?"

 

Google AI 책임자인 딘은 내부 이메일에서 이 논문이 "우리의 기준을 충족하지 못한" 이유 중 하나는 "관련 연구를 너무 많이 무시했기 때문"이라고 말했습니다. 특히 대규모 언어 모델을 보다 에너지 효율적으로 만들고 편향성 문제를 완화하는 방법에 대한 최근 연구에 대해서는 언급하지 않았다고 말했습니다.

 

그러나 6명의 공동 연구자들은 폭넓은 학문을 활용했습니다. 128개의 참고 문헌이 포함된 이 논문의 인용 목록은 놀라울 정도로 길다. 벤더는 "개인이나 한 쌍의 저자가 해낼 수 없는 종류의 작업입니다."라고 말합니다. "이런 협업이 정말 필요했습니다."

 

우리가 본 논문 버전은 대규모 언어 모델의 크기와 계산 비용을 줄이고 모델의 내재된 편향을 측정하는 여러 연구 노력에 대해서도 고개를 끄덕입니다. 그러나 이러한 노력만으로는 충분하지 않다고 주장합니다. "저는 우리가 포함해야 할 다른 참고 자료가 무엇인지에 대해 매우 개방적입니다."라고 벤더는 말합니다.

 

몬트리올 지사의 구글 AI 연구원 니콜라스 르 루는 나중에 트위터를 통해 딘의 이메일에 담긴 추론이 이례적이라고 지적했습니다. "제 제출물은 항상 민감한 자료의 공개 여부를 확인했지만, 문헌 검토의 질에 대해서는 확인하지 않았습니다."라고 그는 말했습니다.

 

딘의 이메일에 따르면 게브루와 동료들은 논문을 발표하기 위해 학회에 제출하기 전에 구글 AI에게 하루 동안만 내부 검토 시간을 줬다고 합니다. 그는 "우리의 목표는 출판 전에 연구를 검토하는 방법의 엄격함과 사려 깊음 면에서 동료 심사 저널에 필적하는 것입니다."라고 썼습니다. 

 

벤더는 그럼에도 불구하고 학회에서 논문에 대한 상당한 검토 과정을 거칠 것이라고 언급했습니다: "장학금은 항상 대화이며 항상 진행 중인 작업입니다."라고 그녀는 말합니다.

 

전 구글 홍보 매니저였던 윌리엄 피츠제럴드 등 다른 사람들도 딘의 주장에 의문을 제기했습니다.

 

구글은 최근 대규모 언어 모델의 폭발적인 성장으로 이어진 기초 연구의 대부분을 개척했습니다. Google AI는 2017년에 트랜스포머 언어 모델을 최초로 발명했으며, 이는 이후 모델인 BERT와 OpenAI의 GPT-2 및 GPT-3의 기반이 되었습니다. 앞서 언급한 바와 같이 BERT는 현재 구글의 캐시카우인 구글 검색에도 사용되고 있습니다.

 

벤더는 구글의 이러한 조치가 향후 AI 윤리 연구에 '냉각 효과'를 가져올 수 있다고 우려합니다. AI 윤리 분야의 최고 전문가 중 상당수가 대기업에서 일하고 있는데, 그 이유는 그곳이 돈이 되는 곳이기 때문입니다. "이는 여러모로 유익한 일입니다."라고 그녀는 말합니다. "하지만 우리는 결국 세상을 위한 과학의 발전에 가장 좋은 인센티브가 아닌 인센티브가 있는 생태계를 만들게 됩니다."

 

업데이트(12월 7일): 대규모 언어 모델의 환경 비용을 명확히 하기 위해 추가 세부 정보가 추가되었습니다. 

 

기사 원문 링크: We read the paper that forced Timnit Gebru out of Google. Here’s what it says.