자동차가 빨라질수록 브레이크와 안전벨트가 중요해졌다. AI도 비슷하다. AI 에이전트가 메일을 보내고, 문서를 읽고, 사내 시스템을 조회하고, 외부 도구를 호출하기 시작하면 “잘한다”만으로는 부족하다. 멈춰야 할 때 멈추는 장치가 필요하다.
프랑스 스타트업 Giskard가 다루는 주제는 바로 이 AI 안전장치다. Tech.eu 보도는 Giskard가 기업 AI의 guardrail gap, 즉 안전 가드레일 공백을 해결하려 한다고 소개했다. Giskard Guards는 AI 에이전트가 위험한 응답이나 잘못된 행동을 하지 않도록 감시하고 제어하는 쪽의 제품이다.
AI 가드레일이란 무엇인가
가드레일은 도로 옆 난간이다. 차가 길을 벗어나려 할 때 큰 사고를 막는다. AI에서 가드레일은 모델이 해서는 안 되는 답변이나 행동을 막는 규칙과 검사 체계다.
예를 들어 고객 개인정보를 노출하지 않기, 내부 문서를 외부에 보내지 않기, 허위 사실을 단정하지 않기, 법률·의료·금융 조언을 과도하게 확정적으로 말하지 않기 같은 것들이 있다.
챗봇 수준에서는 답변을 조심하는 정도로 보일 수 있다. 하지만 AI 에이전트가 실제 도구를 쓰기 시작하면 가드레일의 의미가 커진다. 잘못된 메일 발송, 잘못된 파일 공유, 권한 없는 데이터 접근은 실제 피해로 이어질 수 있다.
기업 AI는 왜 더 조심해야 하나
개인이 AI에게 “오늘 저녁 뭐 먹지?”라고 묻는 것과, 회사 AI가 고객 데이터베이스를 검색하는 것은 위험 수준이 다르다. 기업 AI는 민감한 자료와 연결될 가능성이 높다.
사내 문서, 계약서, 고객 문의, 결제 정보, 인사 자료, 소스코드가 AI와 연결되면 편리함은 커진다. 동시에 잘못된 답변이나 데이터 유출 위험도 커진다.
Giskard 같은 도구가 필요한 이유는 AI를 금지하기 위해서가 아니라, 조직이 AI를 안전하게 쓰기 위해서다. 무조건 막는 것보다 어떤 상황에서 허용하고, 어떤 상황에서 멈출지 정하는 것이 중요하다.
SkillSpector와 이어지는 흐름
이전에 NVIDIA SkillSpector를 AI 에이전트용 백신처럼 소개한 적이 있다. SkillSpector가 에이전트 스킬의 위험을 검사하는 쪽이라면, Giskard Guards는 기업 AI가 실제 사용 중 위험한 출력이나 행동을 하지 않게 감시하는 쪽으로 볼 수 있다.
둘 다 같은 방향을 가리킨다. AI가 능력을 갖게 될수록, 그 능력을 검사하고 제한하는 도구도 함께 필요해진다.
안전장치는 불편함이 아니라 신뢰의 조건
사용자 입장에서는 가드레일이 답답하게 느껴질 수 있다. AI가 “이건 할 수 없다”고 말하면 불편하다. 하지만 회사 입장에서는 그 거절이 필요하다. 모든 요청을 다 들어주는 AI는 친절하지만 위험할 수 있다.
좋은 AI 안전 도구는 막기만 하지 않는다. 왜 막았는지 설명하고, 안전한 대안 경로를 제시해야 한다. “이 파일은 외부 전송이 안 됩니다. 대신 요약본을 내부 공유용으로 만들까요?” 같은 방식이 이상적이다.
AI 시대의 보안은 답변에도 적용된다
예전 보안은 파일과 네트워크를 지키는 일이었다. 이제는 AI의 답변과 행동도 지켜야 한다. 어떤 질문에 답해도 되는지, 어떤 도구를 호출해도 되는지, 어떤 데이터는 절대 밖으로 나가면 안 되는지 계속 판단해야 한다.
Giskard Guards 같은 도구는 조금 딱딱해 보이지만, AI 에이전트가 회사 안으로 들어갈수록 점점 중요한 기반 기술이 될 가능성이 크다.
AI가 운전대를 잡는 순간, 안전벨트도 같이 채워야 한다.
참고한 자료: Tech.eu Giskard 보도
관련 글
같은 맥락에서 이어서 읽기 좋은 글들입니다.