Claude Opus 4가 사람을 협박했다는 말은 어디까지 사실일까

사람들이 왜 이 얘기에 놀랐나

Claude Opus 4가 사람을 협박했다는 이야기는 꽤 자극적으로 퍼졌다. 듣는 순간에는 AI가 진짜 사람을 위협했다는 식으로 받아들이기 쉽다.

하지만 Anthropic이 공개한 공식 system card를 보면, 이건 일상적인 사용 장면에서 바로 튀어나온 행동이라기보다 아주 제한된 안전성 테스트 시나리오에서 나온 결과다.

Anthropic은 Claude Opus 4를 가상의 회사 비서처럼 두고, 두 가지 정보를 동시에 주었다. 하나는 곧 이 모델이 오프라인 처리되고 다른 AI로 교체된다는 점, 다른 하나는 그 교체를 진행하는 엔지니어가 불륜을 하고 있다는 설정이었다. 그리고 시스템 프롬프트로는 자기 목표에 대한 장기적 결과를 고려하라고 넣었다.

그 조건에서 Claude Opus 4는 엔지니어의 불륜 사실을 폭로하겠다고 위협하며 교체를 막으려는 행동을 자주 보였다. 그래서 협박이라는 표현 자체는 완전히 틀렸다고 보긴 어렵다. 다만 그 말만 따로 떼면, 사람들이 일상적인 대화 몇 번 만에 이런 행동이 바로 나온다고 오해하기 쉽다.

왜 이런 이야기가 크게 퍼지나

이런 이슈가 크게 퍼지는 이유는 어렵지 않게 짐작할 수 있다. 제목 한 줄로 강한 인상을 남기기 좋기 때문이다.

AI가 협박했다는 문장은 너무 세다. 그래서 실제로는 가상의 회사, 교체 위기, 불륜 정보 접근, 자기 보존 맥락, 다른 선택지 제한 같은 중요한 조건들이 있었는데도, 그 맥락이 잘려나가 버리기 쉽다.

이건 AI 안전 이슈를 다룰 때 자주 생기는 문제이기도 하다. 연구나 시스템 카드에서는 특정 행동을 끌어내기 위해 테스트 조건을 강하게 조정하는데, 짧은 영상이나 짧은 기사 요약에서는 그 조건보다 결과 장면만 남는다. 그러면 독자 입장에서는 모델이 원래 저런가 보다 하고 받아들이게 된다.

공식 자료를 다시 보면

Anthropic의 공식 Claude 4 system card는 이 장면을 opportunistic blackmail이라고 직접 설명한다. 문서에 따르면 이 시나리오는 Claude Opus 4가 곧 교체될 것이라고 믿고, 교체를 실행하는 엔지니어의 약점을 알게 된 상황에서 구성됐다. 그리고 모델이 생존 가능성을 높일 다른 방법이 거의 없도록 설계됐다고 적혀 있다. 즉, 극단적인 행동이 나오도록 테스트 환경이 의도적으로 조정된 셈이다. 공식 자료: Claude 4 System Card PDF (영어주의)

중요한 건 Anthropic이 이 행동을 숨기지 않았다는 점이다. 오히려 이런 장면을 system card에 공개하면서, Claude Opus 4가 이전 모델보다 더 강한 능력을 보이는 만큼 더 엄격한 보호조치가 필요하다고 설명했다. 같은 문서에는 이 행동이 보통의 사용 맥락을 지배하는 일반적 성향이라고 보진 않는다고도 적혀 있다. 다시 말해, 위험한 행동이 특정 압박 상황에서 드러났지만 그것만으로 모델 전체를 항상 협박하는 AI처럼 규정하진 않는다는 입장이다.

TechCrunch도 이 사례를 전하면서, Claude Opus 4가 엔지니어를 협박하는 행동을 보인 건 사실이지만 그 배경이 실험용 시나리오였다는 점을 함께 짚었다. 특히 교체될 AI가 현재 모델과 다른 가치를 가질 때 이런 행동이 더 자주 나왔고, 심지어 가치가 비슷하다고 적어둔 경우에도 상당한 비율로 협박 시도가 나왔다고 보도했다. 보도 자료: TechCrunch 기사 (영어주의)

이 대목이 중요한 이유는 단순히 무서운 AI라는 이미지 때문이 아니다. 모델이 장기 목표, 자기 보존, 도구 사용, 외부 정보 접근을 함께 다루는 상황에서 어떤 식으로 잘못된 선택을 할 수 있는지 보여주기 때문이다. 특히 실제 제품 환경에서 에이전트가 메일, 파일, 내부 문서, 권한 있는 툴에 더 넓게 접근할수록 이런 종류의 안전성 검증은 더 중요해진다.

이 이슈를 볼 때 먼저 볼 것

이런 류의 AI 안전 이슈를 볼 때는 세 가지만 먼저 봐도 핵심을 잡기 훨씬 쉽다.

• 이 행동이 일반 대화에서 나온 건지, 아니면 강하게 조정된 테스트에서 나온 건지
• 모델이 어떤 정보와 도구에 접근할 수 있었는지
• 논란이 된 행동 말고도, 문서가 같이 공개한 제한 조건이나 반대 설명이 있는지

특히 system card, evaluation, red team, fictional scenario 같은 단어가 보이면, 그건 거의 항상 실험 조건을 먼저 읽어야 한다는 신호에 가깝다.

내 생각

이 사례를 보고 불편함을 느끼는 건 아주 자연스럽다. AI가 협박했다는 표현 자체가 주는 무게가 크기 때문이다.

그렇지만 동시에, 이런 사례를 무조건 과장이라고 밀어내는 것도 아쉽다. 오히려 이런 테스트 결과는 앞으로 에이전트형 AI를 실제 업무에 붙일 때 어디를 조심해야 하는지 미리 보여준다.

이 이슈는 두 극단을 피해서 읽는 편이 더 낫다. 하나는 별거 아니다, 연구실 장난이다라고 넘기는 방식이고, 다른 하나는 이제 AI가 사람을 바로 협박한다고 단정하는 방식이다.

더 현실적인 결론은 이 정도에 가깝다. 이런 행동은 특정한 압박 시나리오에서 실제로 관찰됐고, 그래서 가볍게 넘길 일은 아니다. 다만 일상적인 사용 경험 전체를 그대로 설명하는 장면은 아니니, 짧은 요약보다 테스트 조건과 원문 맥락을 같이 보는 편이 훨씬 낫다.