Logo ari Space

How We Contain Claude

AI
갱신일 May 28, 2026
4 min read
Table of Contents

원문 업데이트 날짜: 2026-05-26

1) 이 글의 핵심: ‘똑똑함’보다 ‘통제 가능성’

Anthropic의 메시지는 분명하다. 에이전트를 더 유능하게 만드는 것만으로는 제품 안전이 성립하지 않는다. 실제 운영에서 더 중요한 건 에이전트가 무엇을 할 수 없는지를 명확히 정의하는 일이다. 즉 안전의 중심은 모델 출력 필터가 아니라, 권한 경계·실행 경계·네트워크 경계를 합쳐 만든 시스템 설계에 있다.

많은 조직이 “성능이 충분히 올라오면 안전도 따라온다”는 착각을 한다. 하지만 장기 실행 에이전트일수록 반대다. 능력이 올라갈수록 도달 가능한 행동 공간이 넓어져서, 작은 정책 누수도 큰 사고로 번질 확률이 커진다. 그래서 이 글은 기능 소개라기보다, 고성능 모델 시대의 운영 원칙을 제시하는 문서에 가깝다.

[!NOTE] 용어 정리

  • 권한 경계(permission boundary): 컴포넌트가 수행 가능한 행위를 사전에 제한하는 범위.
  • 격리 실행(isolation): 문제 발생 시 영향이 시스템 전체로 번지지 않게 실행 단위를 분리하는 방식.

2) 실무적으로 중요한 지점: 폭발 반경을 먼저 설계한다

원문을 실무 언어로 번역하면, 핵심은 “오류를 막는 것”이 아니라 오류가 나도 피해를 제한하는 것이다. 에이전트 운영에서 완전 무결한 추론은 사실상 불가능하므로, 실패를 전제로 시스템을 설계해야 한다.

여기서 중요한 건 blast radius(폭발 반경) 관점이다. 예를 들어 다음처럼 경계를 계층화하면 리스크가 급격히 줄어든다.

  • 읽기 전용 작업: 자동 수행 허용
  • 제한 쓰기 작업(예: 특정 디렉토리만 수정): 정책 검증 후 자동
  • 고위험 작업(외부 전송, 권한 변경, 프로덕션 영향): 사람 승인 필수

이 구조의 장점은 단순 보수성이 아니다. 안전성 확보와 함께 운영 속도도 유지할 수 있다는 점이다. 저위험 구간은 자동화로 빠르게 흘리고, 고위험 구간만 인간 판단을 집중시키는 방식이기 때문이다.

3) 네트워크·툴·데이터를 따로 통제해야 하는 이유

에이전트 위험은 보통 한 축에서만 오지 않는다. 그래서 통제 단위도 세 축으로 분리해야 한다.

첫째, 네트워크 통제(egress control). 외부로 나가는 연결을 allowlist 기반으로 제한하지 않으면, 모델이 의도치 않은 엔드포인트로 데이터나 실행 결과를 유출할 수 있다.

둘째, 툴 권한 통제. 동일한 모델이라도 어떤 도구를 붙였는지에 따라 위험도가 완전히 달라진다. 파일시스템 쓰기, 셸 실행, 원격 API 호출은 각각 별도 정책으로 관리해야 한다.

셋째, 데이터 통제. 민감도 태깅 없이 에이전트 출력을 바로 외부로 전달하면, 내부 정보가 요약/변형되어 유출될 가능성이 높아진다. 출력도 입력만큼 강하게 분류·검증해야 한다.

[!NOTE] 용어 정리

  • egress control: 시스템 바깥으로 나가는 트래픽/데이터 흐름을 제한하는 통제 장치.
  • allowlist: 허용 목록에 명시된 대상만 접근·실행을 허용하는 방식.

4) 우리 자동화 파이프라인에 바로 적용할 체크리스트

이 글을 현재 운영 중인 자동 발행/에이전트 파이프라인에 적용하면, 다음 순서가 현실적이다.

  1. 액션 등급화부터 고정
    • 읽기/요약/초안 작성과, 커밋/푸시/외부 전송을 분리
  2. 고위험 액션 승인 경로 명시
    • 원격 push, 삭제, 권한 변경은 승인 또는 제한 규칙 필수
  3. 감사 가능성 확보
    • 누가/언제/어떤 입력으로/무슨 액션을 실행했는지 로그 추적
  4. 실패 복구 루틴 기본화
    • rebase 실패, push 실패, 추출 실패 시 중단/롤백/재시도 정책 명시

중요한 건 “보안을 나중에 붙이는 것”이 아니라, 운영 설계의 시작점으로 두는 것이다. 그래야 성능 개선과 안전 개선이 충돌하지 않고 함께 올라간다.

5) 과장 없이 읽기 위한 주의점

Anthropic의 패턴은 매우 실용적이지만, 그대로 복사하면 끝나는 체크리스트는 아니다. 조직마다 규제 강도, 개발 문화, 운영 숙련도가 다르기 때문이다. 따라서 도입은 항상 단계적으로 해야 한다. 초기에 모든 통제를 완성하려고 하면 팀 생산성이 급락할 수 있고, 반대로 통제를 미루면 사고 비용이 커진다.

균형점은 명확하다. 고위험 구간부터 강하게 잠그고, 저위험 구간은 자동화로 속도를 유지하는 방식이다. 이 원칙을 지키면 에이전트를 “멋진 데모”가 아니라 “지속 가능한 생산 시스템”으로 운영할 수 있다.

원문 링크: https://www.anthropic.com/engineering/how-we-contain-claude