지켜보기만 하다 놓친 손 — AI 에이전트가 '할 수 있는 일'을 좁히는 방어 설계

이미지 출처: The Hacker News

한 금융권 보안팀이 사내에 붙인 AI 에이전트 대시보드를 자랑스레 보여준 적이 있다. 어떤 에이전트가 언제 켜졌고, 무슨 API를 몇 번 호출했는지 실시간으로 그래프가 흘렀다. 그런데 내가 물었다. "저 에이전트가 지금 당장 고객 DB 전체를 덤프하려 들면, 저 화면이 그걸 막나요?" 잠깐 침묵이 흘렀다. 답은 "아니요, 보이기만 해요"였다. 문제의 핵심이 바로 여기다. 보는 것(visibility)과 막는 것(enforcement)은 완전히 다른 이야기라는 것.

핵심 요약

• AI 에이전트는 사람보다 빠르고 자율적으로 행동하므로, 로그를 '지켜보는' 방식만으로는 사고를 사후에 확인할 뿐 차단하지 못함.
• 에이전트는 사실상 하나의 신원(non-human identity)이므로 최소권한·범위제한 자격증명·런타임 가드레일로 '할 수 있는 행위' 자체를 좁혀야 함.
• 탐지는 도구 호출·권한 상승·비정상 데이터 접근 단위로 남기고, 위험 행위는 사람 승인 단계를 강제하는 구조가 현실적인 방어선.

왜 '보이는 것'만으로는 늦는가

전통적인 보안 모니터링은 사람의 속도를 전제로 만들어졌다. 누가 로그인하고, 파일을 열고, 명령을 치는 속도는 사람 손에 묶여 있어서 SOC 분석가가 알림을 보고 개입할 시간이 어느 정도 있었다. 그런데 에이전틱 AI는 다르다. 초 단위로 수십 개의 도구를 연쇄 호출하고, 스스로 계획을 세워 API를 넘나든다. 대시보드에 '이상 징후'가 점등되는 순간, 이미 에이전트는 다음 열 개의 행동을 끝냈을 수 있다. 지켜보는 눈이 아무리 좋아도 손이 묶여 있으면 소용이 없는 셈이다.

에이전트는 '또 하나의 신원'이다

방어 설계의 출발점은 관점을 바꾸는 데 있다. 에이전트를 '똑똑한 기능'이 아니라 권한을 가진 하나의 계정으로 취급하는 것. 사람 계정에 적용하던 원칙을 그대로 가져오면 그림이 선명해진다.

• 이 에이전트는 어떤 자격증명을 쥐고 있는가 — API 키, OAuth 토큰, 서비스 계정.
• 그 자격증명의 권한 범위는 어디까지인가 — 읽기만인가, 쓰기·삭제까지 열려 있는가.
• 토큰의 수명은 얼마인가 — 무기한 발급된 장기 키가 그대로 코드에 박혀 있진 않은가.
• 한 에이전트가 여러 시스템을 넘나들 때, 권한이 합쳐져 과도해지지 않는가.

실제로 사고가 커지는 지점은 대부분 '모델이 악해서'가 아니라 '에이전트에게 너무 넓은 권한을 통째로 쥐여줬기 때문'이다. 사람에게도 안 주던 관리자 권한을, 편하다는 이유로 자동화 계정에 몰아주는 순간 공격 표면이 폭발한다.

방어자가 지금 손댈 수 있는 것

거창한 신제품이 아니어도 오늘 당장 좁힐 수 있는 통제들이 있다. 개인적으로는 아래 순서대로 밟아가길 추천한다.

• 최소권한 재설계: 에이전트별로 필요한 최소 스코프만 발급하고, 기본값은 '거부'로 둔다. 하나의 만능 키 대신 작업 단위로 쪼갠 자격증명이 안전함.
• 범위·수명 제한 토큰: 장기 하드코딩 키를 걷어내고 단기 토큰과 자동 회전을 붙인다. 유출돼도 창문이 좁아짐.
• 런타임 가드레일: 에이전트가 '무엇을 호출할 수 있는가'를 실행 시점에 정책으로 강제한다. 허용된 도구 목록(allowlist) 밖의 행동은 아예 막는 구조가 핵심.
• 위험 행위 사람 승인: 대량 데이터 반출, 삭제, 결제, 외부 전송 같은 고위험 동작은 자동 실행을 끊고 사람 승인 단계를 끼워 넣는다.

탐지는 '행위 단위'로 남겨라

그럼에도 탐지가 무의미한 건 아니다. 다만 무엇을 남기느냐가 달라져야 한다. 단순히 '에이전트가 돌았다'가 아니라, 어떤 도구를 어떤 인자로 호출했고 어떤 자격증명으로 무슨 자원에 닿았는지를 행위 단위로 기록해야 한다. 이렇게 남겨두면 평소와 다른 도구 조합, 갑작스러운 권한 상승 시도, 비정상적인 데이터 접근 패턴을 규칙이나 이상탐지로 잡아낼 수 있다. 로그가 사람 로그인 이벤트 중심으로만 쌓여 있으면 에이전트가 벌인 일은 통째로 사각지대에 남는다는 걸 기억해두면 좋겠다.

정리하며

결국 메시지는 단순하다. 에이전트를 도입하는 속도만큼, 그 에이전트가 '할 수 있는 일'을 좁히는 통제도 같은 속도로 깔아야 한다는 것. 화면에 예쁘게 흐르는 그래프는 사고를 설명해줄 뿐, 막아주지는 않는다. 오늘 우리 조직의 에이전트가 쥔 권한 목록을 한 번 꺼내 보는 것부터가 시작이다. 여러분 환경에서는 자동화 계정에 어떤 권한이 열려 있는지, 혹시 무기한 키가 코드에 박혀 있진 않은지 같이 점검해보아요. 확인해본 결과가 있으면 댓글로 공유해 주세요.