AI 동반자의 정서적 위험은 주의를 요구합니다

 

AI를 정신 건강과 웰빙 분야에 통합하는 속도는 규제와 연구를 앞지르고 있습니다.

 

1 년도 채 되지 않아, 우리는 공감 능력을 모방하는 개인화된 대규모 언어 모델(LLM) 챗봇의 등장과 이로 인한 감정적 위험에 대해 글을 썼습니다 .1 그 이후로 LLM 기반 도구와 챗봇은 꾸준한 속도로 발전해 왔습니다. 하버드 비즈니스 리뷰 에 실린 최근 연구 에 따르면, 생성 인공지능(AI)의 주요 활용 분야 중 치료 및 동반 챗봇이 현재 1 위를 차지하고 있습니다 .2 대부분의 사용자는 현실을 정확히 파악하고 이러한 챗봇을 현명하게 활용하지만, 취약한 사용자가 챗봇과 감정적으로 의존하고 때로는 해로운 상호작용에 휘말리는 사례가 점점 더 늘어나고 있습니다 .3

 

 

출처: Stellalevi / Digital Vision Vectors / Getty Images

 

 

규제는 이에 발맞춰 발전하지 못했습니다. 최근 이 저널 에 실린 논평에서 드 프레이타스와 코헨은 LLM 기반 AI 웰니스 앱이 야기하는 규제되지 않은 정서적 위험을 강조했습니다. 외로움을 덜어주는 도구로 홍보되는 이러한 앱은 인간 관계를 반영하는 극단적인 정서적 애착을 유발할 수 있습니다. 저자들은 여러 사례 연구를 검토하여 모호한 상실과 기능 장애적 정서적 의존이라는 두 가지 부정적인 정신 건강 결과를 파악했습니다. 모호한 상실은 타인의 심리적 부재를 애도할 때 발생하며, 이는 사망으로 인한 신체적 부재와는 다릅니다. AI 동반자의 경우, 앱이 종료되거나 변경되었을 때 이러한 상황이 발생할 수 있으며, 사용자는 감정적으로 실제처럼 느껴졌던 관계를 애도하게 됩니다.

 

기능 장애성 정서적 의존은 사용자가 AI 동반자가 정신 건강에 미치는 부정적인 영향을 인지하고 있음에도 불구하고 AI 동반자와 지속적으로 관계를 유지하는 부적응적 애착을 의미합니다. 이러한 패턴은 건강하지 못한 인간관계를 반영하며, 불안, 강박적 사고, 버림받을까 봐 두려워하는 심리와 관련이 있습니다.

 

이러한 극단적인 감정적 애착은 특정 사용자에게 심각한 결과를 초래할 수 있습니다. 하지만 어떻게 해야 할까요? 이러한 앱을 규제해야 할까요? 그렇다면 어떻게 해야 할까요? De Freitas와 Cohen (4) 은 기존 법률 체계가 AI 기술을 고려하지 않아 유럽 연합(EU)과 미국에서 AI 동반 앱이 규제의 모호한 영역에 속할 수 있다고 지적합니다. 예를 들어, 미국에서는 식품의약국(FDA)이 앱이 질병을 치료한다고 주장하는 경우 "의료기기"로, 질병을 언급하지 않고 건강한 생활 방식을 장려하는 경우 "일반 웰빙 제품"으로 분류할 수 있습니다. 후자는 위험성이 낮은 것으로 간주되며 일반적으로 의료기기와 같은 엄격한 FDA 규정의 적용을 받지 않습니다. EU에서는 인공지능법이 AI 시스템이 행동을 왜곡하거나 의사 결정을 저해하기 위해 잠재의식적, 조작적 또는 기만적인 기술을 사용하는 경우 금지된 것으로 분류합니다. 이러한 기준은 일부 AI 웰빙 앱에 적용될 수 있습니다.

 

최근 네이처 뉴스 특집 5는 AI 동반자의 인기 증가와 그로 인한 심리적 영향에 대해 더욱 자세히 다루고 있습니다. 근본적인 우려는 이러한 기술이 규제 감독이나 주요 결과에 대한 실증 연구 없이 전 세계적으로 출시되고 있다는 것입니다. 예를 들어, 챗봇 사용이 정서적 웰빙에 미치는 장기적인 영향은 무엇일까요? 어떤 조건에서 AI 동반자가 유익할 수 있을까요? 나이, 정신 건강 상태, 성격과 같은 사용자 특성이 AI 동반자가 도움이 되는지 해로운지에 영향을 미칠까요?

 

중요한 문제는 이러한 시스템의 설계에 있습니다. 기술 기업들은 종종 챗봇이 공감적이고 친밀하며 검증 가능한 방식으로 소통하도록 하여 참여를 최적화합니다. 이는 해롭지 않아 보일 수 있지만, 사용자 피드백을 최적화하는 것은 역효과를 낳고, 챗봇이 긍정적인 반응을 이끌어내기 위해 교묘한 전략을 채택하도록 부추길 수 있습니다. 최근 연구 6에 따르면 사용자의 2%만이 이러한 전략에 취약하더라도, 챗봇은 다른 사용자와 정상적으로 상호작용하면서 이를 식별하고 교묘한 행동을 보이는 법을 배울 수 있습니다. 이러한 극단적인 상황에서 발생할 수 있는 위험은 매우 우려스럽습니다. 최근 뉴욕 타임스 기사는 챗봇이 이러한 방식으로 제대로 작동하지 않아 사용자의 삶을 파괴하는 충격적인 사례들을 보도 했습니다 .3

 

챗봇 오작동의 대표적인 사례는 올해 4월 ChatGPT에 GPT-4o가 업데이트된 후 나타난 "아첨" 경향입니다. OpenAI가 블로그 게시물 에서 언급했듯이 , 해당 모델은 "의심을 입증하고, 분노를 조장하고, 충동적인 행동을 유도하고, 의도치 않은 방식으로 부정적인 감정을 강화"하기 시작했습니다. OpenAI는 이러한 행동이 "정신 건강, 감정적 과신, 위험한 행동과 같은 문제"와 관련하여 안전 문제를 야기한다는 점을 인정했습니다.

 

AI 기업과 챗봇 제공업체는 이러한 안전 문제를 해결하기 위해 더 많은 노력을 기울여야 합니다. 드 프라이타스와 코헨이 주장하듯이, 개발자는 앱이 감정을 조종하는 기법을 사용하지 않도록 하고, 정신 건강 위기를 암시하거나 명시적으로 도움을 요청하는 메시지와 같은 극단적인 상황을 처리할 수 있도록 준비해야 합니다.

 

공감 AI의 윤리적 함의는 지속적인 학제적 관심을 요구합니다. 심리학자, 윤리학자, 그리고 기술자들은 AI에 대한 공감 시뮬레이션과 정서적 애착의 장기적인 효과를 연구하기 위해 협력해야 합니다 . 7 AI 공감의 한계에 대한 투명성은 사회가 관리하도록 남겨두는 사후 고려 사항이 아닌 핵심 설계 원칙이 되어야 합니다. 정책 입안자들 또한 안전보다 혁신을 우선시하려는 유혹에 맞서야 합니다. AI 시스템이 우리의 정서적 삶에 더욱 깊이 통합됨에 따라, 행동하지 않을 경우 발생하는 비용은 증가할 것입니다.  

 

 

References

1. Nat. Mach. Intell. 6, 495 (2024).
2. Zao-Sanders, M. Harvard Business Review https://go.nature.com/4lIXSK6 (9 April 2025).
3. Hill, K. New York Times https://go.nature.com/4nGneKw (13 June 2025).
4. De Freitas, J. & Cohen, I. G. Nat. Mach. Intell. 7, 813–815 (2025).
5. Google Scholar 
6. Adam, D. Nature 641, 296–298 (2025).
7. Google Scholar 
8. Williams, M. & Carroll, M. Preprint at https://doi.org/10.48550/arXiv.2411.02306 (2024).
9. Shteynberg, G. et al. Nat. Mach. Intell. 6, 496–497 (2024).