채팅창이 아니라 내 화면까지 건드린다니, 여기서부터 궁금해진다
브라우저 탭 정리하다가 Claude가 대신 클릭하고 입력까지 한다는 말을 보면 일단 한 번 멈추게 된다. 진짜면 엄청 편할 것 같고, 아니면 또 과장 광고처럼 느껴진다.
지금 확인되는 답은 중간쯤이다. Claude의 computer use는 실제로 있다. 다만 이 말을 웹의 Claude 창에 말만 치면 내 컴퓨터를 다 알아서 쓴다로 받아들이면 범위를 너무 넓게 잡은 셈이다. 공식 자료를 보면 API용 기능, 데스크톱 연구 프리뷰, 브라우저나 커넥터를 먼저 쓰는 흐름이 서로 따로 설명된다. Anthropic computer use 발표 (영어주의) Claude 릴리스 노트 (영어주의)
왜 `이제 Claude가 컴퓨터를 대신 쓴다`는 말이 더 크게 들릴까
이 이슈가 커지는 이유는 기능 이름 하나에 서로 다른 장면이 한꺼번에 묶이기 때문이다.
2024년 10월 발표에서는 computer use를 API 공개 베타로 소개했다. 이때 문구는 분명했다. 개발자가 Claude에게 컴퓨터를 사람처럼 쓰게 할 수 있다는 쪽이었다. 화면을 보고, 커서를 움직이고, 버튼을 누르고, 글자를 입력하는 흐름이다. 동시에 Anthropic은 이 기능이 아직 실험적이고, 서툴고, 오류가 나기 쉽다고 적었다. Anthropic computer use 발표 (영어주의)
그 뒤 2026년 3월에는 이야기가 조금 달라졌다. Claude 앱 릴리스 노트에는 Pro와 Max 사용자가 Cowork와 Claude Code에서 computer use 연구 프리뷰를 쓸 수 있다고 적혀 있다. 이 문장만 보면 이제 일반 사용자도 바로 쓰네처럼 들릴 수 있다. Claude 릴리스 노트 (영어주의)
문제는 여기서 앞 문장과 뒷 문장을 자주 섞어 듣는다는 점이다. API에 붙이는 기능과 Claude Desktop 안의 연구 프리뷰, 일반 채팅 사용 경험이 머릿속에서 한 덩어리가 된다. 그래서 실제보다 훨씬 넓게 열린 것처럼 느껴진다.
공식 문서를 붙여 보면 범위가 꽤 또렷하다
먼저 2024년 10월 22일 발표를 보면 computer use의 출발점은 분명히 개발자용이다. Anthropic은 public beta라고 적었고, Anthropic API, Amazon Bedrock, Google Cloud Vertex AI에서 개발자가 붙여 쓰는 흐름으로 설명했다. 성능 설명은 인상적이지만, 같은 글 안에 experimental, error-prone 같은 경고도 함께 넣어뒀다. Anthropic computer use 발표 (영어주의)
안전성 설명은 더 직접적이다. 같은 날 올라온 연구 글에는 prompt injection 위험을 따로 짚어 둔다. 화면에 보이는 악성 지시를 모델이 읽을 수 있고, 그래서 의도와 다른 행동을 할 수 있다는 얘기다. 사람처럼 화면을 본다는 말이 멋있게 들리지만, 그만큼 사람처럼 속을 여지도 생긴다는 뜻이다. 게다가 당시 평가 점수도 사람 수준과는 거리가 멀었다. OSWorld 기준으로 Claude가 앞서긴 했지만, 여전히 인간 수준에는 한참 못 미친다고 적었다. Anthropic computer use 연구 글 (영어주의)
여기서 끝이면 개발자용 베타 기능으로만 보면 되는데, 2026년 3월부터는 데스크톱 쪽 설명이 추가된다. Claude 릴리스 노트는 2026년 3월 23일 항목에서 Pro와 Max 사용자가 Cowork와 Claude Code에서 computer use 연구 프리뷰를 쓸 수 있다고 적었다. 그리고 2026년 4월 24일 도움말은 이 기능이 Claude Desktop의 Cowork와 Claude Code에서 macOS, Windows 기준으로 열린다고 다시 설명한다. no setup required라는 표현도 여기 붙어 있다. Claude 릴리스 노트 (영어주의) Cowork에서 Claude가 컴퓨터를 쓰게 하기 (영어주의)
다만 이걸 곧바로 아무 플랜에서나 Claude가 내 컴퓨터를 마음대로 쓴다로 읽으면 또 과하다. 도움말을 보면 조건이 꽤 많다.
- Claude Desktop 앱 안의 Cowork나 Claude Code에서만 되는 연구 프리뷰다.
- Pro와 Max 플랜 전용이다.
- 데스크톱이 켜져 있고 Claude Desktop 앱이 열려 있어야 한다.
- 복잡한 작업은 한 번에 잘 안 될 수 있고, 커넥터보다 느리다.
즉 그냥 웹 브라우저에서 Claude 채팅을 열어두고 다 되는 식은 아니다. Cowork에서 Claude가 컴퓨터를 쓰게 하기 (영어주의)
동작 방식도 생각보다 단계가 있다. Cowork 도움말에는 Claude가 먼저 커넥터를 보고, 그다음 브라우저, 그다음 화면 직접 조작 순서로 간다고 적혀 있다. 예를 들어 Gmail이나 Slack처럼 연결 수단이 있으면 그쪽이 우선이고, 정말 필요할 때 화면 클릭으로 내려간다. 그래서 항상 마우스로 다 해결한다는 그림도 실제 설명과는 조금 다르다. Cowork에서 Claude가 컴퓨터를 쓰게 하기 (영어주의)
권한과 위험 고지도 꽤 세다. 도움말에는 앱마다 접근 허가를 따로 받아야 한다고 적혀 있다. 더 중요한 건 sandbox가 없다는 점이다. Claude가 데스크톱, 앱, 브라우저와 직접 상호작용한다고 분명히 써 있다. 사용자가 허용한 앱을 다루는 동안 화면을 이해하려고 스크린샷도 찍는다. 화면에 보이는 민감한 정보, 개인 정보, 다른 사람 정보까지 같이 볼 수 있으니 조심하라고 적어 둔다. 은행, 의료, 정부, 법률, 타인 개인정보가 있는 앱은 아예 피하라고 권한다. Cowork에서 Claude가 컴퓨터를 쓰게 하기 (영어주의)
상용 API 쪽 개인정보 문서도 비슷한 결을 보여 준다. 2026년 3월 16일 Privacy Center 문서에는 computer use가 현재 Anthropic API를 쓰는 상용 고객에게만 제공되고, 개발자가 직접 구축하고 활성화해야 한다고 적혀 있다. 이 문서 기준으로는 스크린샷, 입력, 출력이 처리 대상이고, 스크린샷은 기본적으로 30일 안에 백엔드에서 삭제된다고 한다. Anthropic Privacy Center computer use 문서 (영어주의)
이 자료들을 한 줄로 붙이면 지금 확인되는 사실은 이 정도다.
- Claude의 computer use는 실제 기능이다.
- 처음에는 개발자용 API 공개 베타로 나왔다.
- 2026년 3월부터는 Claude Desktop의 Cowork와 Claude Code에서 Pro·Max 대상 연구 프리뷰도 붙었다.
- 아무 환경에서나 자동으로 열리는 기능은 아니고, 플랜·앱·권한 조건이 있다.
- 편한 만큼 위험 고지도 강하다. 스크린샷 처리, prompt injection, 민감 앱 비권장, no sandbox 같은 문구가 공식 도움말에 같이 붙어 있다.
직접 확인할 때 먼저 볼 것
- 내가 보는 화면이
claude.ai웹 채팅인지,Claude Desktop의 Cowork인지부터 나눠 본다. computer use라고 해도 API에 붙이는 기능인지, 데스크톱 연구 프리뷰인지 먼저 확인한다.- 민감한 앱을 열어둔 상태에서 테스트하지 않는 편이 낫다.
- 화면 조작보다 커넥터가 먼저 쓰인다는 점을 기억하면 동작을 이해하기 쉽다.
알아서 다 끝내준다기보다권한 받은 범위 안에서 대신 시도해 본다정도로 이해하는 쪽이 실제 문서에 가깝다.
내 생각
이 기능은 과장만은 아니다. 클릭하고 입력하는 수준까지 내려온 건 분명히 전보다 한 단계 다르다. 반복 작업이 많은 사람 입장에서는 충분히 혹할 만하다.
다만 지금 단계에서 더 조심해서 봐야 할 건 성능 부족 하나보다, 범위를 너무 크게 상상하게 만든다는 점이다. 내 컴퓨터를 쓴다는 말이 워낙 강해서, 어디서 되고 어디서 안 되는지, 어떤 화면을 보게 되는지, 언제 사람이 끼어야 하는지가 잘 안 들린다.
그래서 이 주제는 데모보다 권한 문구를 먼저 보는 편이 낫다. 어떤 앱에서, 어떤 플랜으로, 어떤 화면을 보게 두는지까지 확인하고 써야 덜 놀란다.
관련 글
같은 맥락에서 이어서 읽기 좋은 글들입니다.