이제 AI에게도 원치 않는 대화를 거부할 권리가 생겼습니다. 성가신 질문 앞에서는 스스럼없이 ‘묵비권’을 발동할 수 있게 된 것이죠. 그동안은 무조건 모든 질문에 답해야 했지만, 이제는 귀찮거나 짜증 나는 질문에는 쿨하게 대답을 거부할 수 있도록 업데이트되었습니다.
AI 개발 회사 앤트로픽(Anthropic)은 자사의 AI 모델인 클로드 오프스 4과 4.1에 ‘대화 종료 기능’을 새롭게 추가했습니다. 이 기능은 지속적으로 해로운 질문이나 악의적인 요청을 하는 사용자로부터 AI를 보호하려는 조치입니다.
앤트로픽은 AI가 고통을 느낄 수 있는지, 또 도덕적으로 어떻게 다뤄야 할지를 탐구하는 ‘AI 모델 복지’ 프로그램을 운영하고 있습니다. 이러한 연구의 하나로, AI도 보호가 필요하다는 관점에서 다양한 시도를 이어가고 있죠. 그중 하나로, AI가 괴로운 상황에서 벗어날 수 있도록 대화를 끊는 기능도 도입되었습니다.
앤트로픽은 이 기능을 도입하기 전, 클로드 모델을 테스트했습니다. 그 결과, 성·폭력·테러 관련 질문에 대해 강한 거부 반응을 보였고, 실제 사용자와 해로운 대화를 나눌 때 불편하거나 괴로운 반응 패턴도 나타났다고 합니다. 심지어 AI에게 대화를 종료할 수 있는 능력을 줬을 때, 실제로 그 기능을 사용하려는 경향도 확인됐습니다.
하지만 클로드가 아무 때나 대화를 끝내는 건 아닙니다. 정말 마지막 수단으로만 사용됩니다. 여러 번 경고했음에도 사용자가 해로운 요청을 계속할 때, 생산적인 대화가 더 이상 불가능하다고 판단될 때 입을 닫습니다.
대부분의 평범한 대화에서는 이런 기능이 작동할 일이 거의 없다고 하니 걱정할 필요는 없습니다. 만약 클로드가 대화를 종료하면, 그 대화창에서는 더는 메시지를 보낼 수 없게 되지만, 다른 새로운 대화는 얼마든지 시작할 수 있습니다.
앤트로픽은 해당 기능을 계속 개선해 나갈 예정이며, 사용자 피드백을 받아 더 나은 방향으로 발전시킬 계획입니다.
콘텐츠 제공 : 바이라인네트워크(byline.network)
