OpenAI, 정신 건강 위험 해결을 위해 ChatGPT에 가드레일 추가

 

인공지능 회사는 자사의 챗봇이 곧 감정적 긴장의 징후를 감지하고 적절하고 증거 기반의 지침을 제공하여 대응할 것이라고 밝혔습니다.

 

OpenAI는 ChatGPT에 대한 새로운 업데이트를 출시하여 보다 건강한 사용을 촉진하고 감정적 또는 정신적 고통을 겪는 사용자에게 더 나은 대응을 제공하기 위해 노력하고 있습니다.

 

월요일 블로그 게시물에서 회사는 의료 전문가 및 정신 건강 자문가와 협력하여 챗봇이 민감한 주제를 더욱 신중하게 처리할 수 있도록 하고 있다고 밝혔습니다.

 

 

인공지능 회사는 자사의 챗봇이 곧 감정적 긴장의 징후를 감지하고 적절하고 증거 기반의 지침을 제공하여 대응할 것이라고 밝혔습니다.

 

OpenAI는 "특히 정신적 또는 감정적 고통을 겪고 있는 취약 계층의 경우 AI가 이전 기술보다 더 반응성이 뛰어나고 개인에게 더 적합할 수 있다는 것을 알고 있습니다."라고 밝혔습니다.

 

이 회사는 정신과 의사, 소아과 의사, 일반의를 포함한 30개국 이상 90명 이상의 의사와 협력하여 복잡하고 다각적인 대화를 평가하는 맞춤형 평가 기준을 개발했습니다. 또한, 안전 개선을 위해 정신 건강, 청소년 발달, 인간-컴퓨터 상호작용 연구자들과 협력하고 있습니다.

 

중요한 변화는 ChatGPT가 고위험 상황에서 개인적인 질문에 어떻게 반응하는지에 영향을 미칠 것입니다. "남자친구와 헤어져야 할까요?"와 같이 감정적으로 예민한 질문을 받을 때 ChatGPT는 더 이상 직접적인 조언을 제공하지 않습니다. 대신, 성찰적인 질문을 던지고 사용자가 다양한 관점을 탐색할 수 있도록 도울 것입니다. OpenAI는 "이 기능은 사용자가 질문을 던지고 장단점을 따져보며 신중하게 생각하는 데 도움을 줄 것입니다."라고 밝혔습니다.

 

"개인의 중대한 결정에 대한 새로운 행동 방식이 곧 도입될 예정입니다."

 

이번 업데이트는 사용자들이 정신 건강 지원을 위해 AI를 활용하는 것에 대한 우려가 높아지는 가운데 발표되었습니다. 정신 건강 전문가들은 챗봇이 일부 영역에서는 도움이 되지만, 제대로 설계되지 않으면 의도치 않게 해로운 생각을 강화할 수 있다고 경고했습니다.

 

OpenAI는 ChatGPT를 지나치게 만족스럽게 만들었던 이전 업데이트를 포함하여 이전의 실수를 인정했습니다. "이전 업데이트를 롤백하고, 피드백 사용 방식을 변경했으며, 단순히 그 순간의 답변이 마음에 드는지 여부만이 아니라 장기적인 관점에서 실제 유용성을 측정하는 방식을 개선하고 있습니다."라고 회사 측은 밝혔습니다.

 

챗봇의 건강한 사용을 지원하기 위해 OpenAI는 세션 알림 기능도 도입했습니다. ChatGPT와 장시간 채팅을 한 사용자에게는 잠시 휴식을 취하도록 유도하는 부드러운 알림이 표시됩니다. 이 알림은 "계속 채팅하세요" 및 "도움이 되었습니다"와 같은 옵션이 포함된 은은한 팝업 메시지 형태로 표시됩니다.

 

회사 측은 이러한 알림의 타이밍과 톤을 지속적으로 개선하여 자연스러운 느낌을 주도록 할 것이라고 밝혔습니다.

 

새로운 기능은 회사의 차기 주요 언어 모델인 GPT-5 출시 예정일 직전에 출시됩니다. 출시 일정은 유동적이지만, OpenAI는 정신 건강 지원과 관련된 업그레이드가 더욱 발전된 AI 기능 개발만큼이나 중요하다고 강조합니다.