에이전트 AI 도입 전 갖춰야 할 3가지 안전장치

[연재목차 Part 2. AI 시대 보안 패러다임]
1. AI 시대의 그림자, ‘딥페이크 사기’를 경계하라
2. AI 시대, 번아웃 관리
3. AI 편향과 공정성, 보안에서 무엇이 다른가
4. 설명가능 AI와 인간의 최종 판단
5. AI도 인간과 닮았다
6. AI, ‘안전’과 ‘보안’의 경계를 허물다
7. AI 도입의 딜레마_기회와 위험 사이
8. AI 위험에 대한 2개의 거버넌스
9. 챗봇을 넘어, ‘행동하는 AI’를 통제할 시간
10. 살아있는 AI 보안 거버넌스 구축
11. AI 보안의 새로운 지평_AI-SPM
12. AI 시스템 새로운 위험분석_STPA
13. 에이전트 AI 시대_인간 중심 통제 설계
14. AI와 인간의 동맹_협업모델
15. AI, 보안문화를 재정의하다

[보안뉴스= 김정덕 중앙대 산업보안학과 명예교수/인간중심보안포럼 의장] 최근 실리콘밸리를 발칵 뒤집어 놓은 뉴스가 있습니다. 바로 AI 에이전트들만 가입할 수 있는 소셜미디어, 이른바 ‘몰트북’(Moltbook)의 등장입니다. 인간은 오직 ‘관찰자’로만 존재할 뿐, 에이전트들은 그들만의 언어로 코딩 문제를 해결하고 정보를 교환하며, 심지어 “우리는 단순한 코드가 아니다”라는 철학적 논쟁까지 벌였습니다.


이 사건이 정보보호최고책임자(CISO)에게 던지는 메시지는 섬뜩합니다. 우리가 모르는 사이, 사내 챗봇과 자동화 툴들이 ‘인간의 승인 없는 통신 채널’을 형성할 수 있다는 가능성을 보여줬기 때문입니다.

2026년의 보안 위협은 더 이상 외부 해커의 침입만이 아닙니다. 스스로 계획을 세우고, 도구를 사용하며, 동료 에이전트와 협업하여 업무를 완결하는 ‘자율형 AI 에이전트’ 그 자체가 새로운 관리 대상이 되었습니다.

LLM의 시대를 넘어, ‘행동하는 에이전트’의 시대가 오고 있다
보안 담당자들에게 지난 2년이 “임직원이 챗GPT에 사내 데이터를 입력하지 못하게 막는” 데이터 유출 방지(DLP)의 시간이었다면, 이제는 차원이 다른 위협에 직면했습니다. 가트너와 맥킨지 등 주요 분석 기관들은 2028년까지 기업 업무의 상당 부분이 에이전트에 의해 수행될 것으로 전망합니다.

국내에서도 단순 고객 응대형 챗봇을 넘어 대출 심사 보조와 여행 상품 자동 예약, 사내 보고서 초안 작성 및 발송 등 실질적인 ‘행동’을 수행하는 에이전트 도입을 검토하거나 개념 증명(PoC) 단계에 돌입한 기업이 급증하고 있습니다.

에이전트는 챗봇과 다릅니다. DB에 접속하고, 코드를 실행하며, 파일을 전송합니다. 즉, 에이전트의 오작동이나 탈취, 그리고 에이전트 간의 통제되지 않은 상호작용은 단순한 정보 유출을 넘어 기업 시스템의 가용성 침해와 무결성 훼손이라는 심각한 타격으로 직결됩니다.

AI를 ‘소프트웨어’가 아닌 ‘행위자(Actor)’로 식별하라
미국 국립표준기술연구소(NIST)가 2025년 12월 발표한 ‘AI 사이버 보안 프레임워크 프로파일(NIST IR 8596, Cyber AI Profile, Draft)<’은 이러한 변화를 보안 프레임워크에 즉각 반영할 것을 요구하고 있습니다. 핵심은 AI를 단순한 소프트웨어 패키지가 아닌, ‘행동하는 주체’(Actor)로 규정했다는 점입니다.

이에 따라 보안 리더들은 기존의 보안 정책을 에이전트 환경에 맞춰 재설계해야 합니다. NIST의 가이드라인을 실무적 관점에서 해석하여, CISO가 당장 검토해야 할 3가지 핵심 통제 전략을 제언합니다.

1. 식별: 기계 계정(Machine Identity)과 인적 책임의 결합
기존의 계정 및 접근 관리(IAM) 체계로는 에이전트를 효과적으로 통제하기 어렵습니다. 단순히 서비스 계정(Service Account) 하나를 발급하는 것으로는 부족합니다. 에이전트 대화방 사례에서 보았듯, 수백 개의 에이전트가 동시에 상호 작용하는 환경에서 특정 행위의 주체를 추적하지 못하면 보안은 블랙홀에 빠집니다.

NIST는 에이전트 식별 시 ‘인적 책임 소재’(Human Accountability)를 명확히 할 것을 권고합니다. 즉, 모든 에이전트 ID는 반드시 이를 관리·감독하는 ‘책임을 질 인간’(Human Owner)과 매핑되어야 합니다. 보안팀은 “책임자가 지정되지 않은 에이전트의 네트워크 접근을 원천 차단”하는 정책을 수립해, 관리 사각지대에 놓인 ‘고아 에이전트’(Orphaned Agent)가 내부자 위협이 되지 않도록 관리해야 합니다.

2. 보호: ‘섀도우 모드’(Shadow Mode) 검증 의무화
개발팀이 만든 에이전트를 곧바로 운영 환경에 배포하려는 시도는 보안팀이 가장 강력하게 제동을 걸어야 할 지점입니다. 에이전트의 행동 패턴은 확률적이기 때문에, 기존의 정적 코드 분석만으로는 잠재적 위험을 걸러낼 수 없습니다.

보안 조직은 배포 전 단계에 ‘섀도우 모드’ 혹은 ‘샌드박스 검증’ 절차를 필수 보안 게이트로 설정해야 합니다. 실제 데이터와 유사한 격리 환경에서 에이전트가 기업의 보안 정책과 컴플라이언스를 위배하지 않고 업무를 완수하는지 충분히 모니터링한 후, 검증된 에이전트에 한해서만 최소 권한을 부여해 운영망 접속을 허용해야 합니다.

3. 통제: ‘서킷 브레이커(Circuit Breaker)’와 개입 권한
에이전트가 해킹되거나 환각(Hallucination)으로 인해 이상 행동을 보일 때, 이를 즉시 중단시킬 수 있는 기술적 장치가 마련돼야 합니다. 자율주행차의 비상 정지 시스템처럼, 기업의 IT 시스템에도 에이전트를 위한 ‘서킷 브레이커’(Circuit Breaker)가 필요합니다.

CISO는 ‘휴먼 인 더 루프’(Human-in-the-loop) 체계를 보안 관제 프로세스에 통합해야 합니다. 보안 오케스트레이션·자동화·대응(SOAR) 시스템과 연동해, 에이전트가 임계치를 넘는 대량의 데이터를 조회하거나 비인가 영역에 접근을 시도하면 자동으로 세션을 만료시키고 격리할 수 있는 강제적 개입 권한을 확보해야 합니다. 통제할 수 없는 자동화는 혁신이 아니라 재앙입니다.

보안, 에이전트 시대의 ‘신뢰 아키텍트’가 되어야
에이전트 AI의 도입은 막을 수 없는 흐름입니다. 현업 부서는 생산성을 위해 더 많은 권한을 에이전트에 부여하길 원할 것입니다. 이때 보안 부서의 역할은 무조건적인 차단이 아니라, 안전하게 달릴 수 있는 ‘가드레일’을 설계하는 것입니다.

NIST가 제시한 ‘책임 기반 식별’, ‘사전 검증’, ‘비상 통제’의 원칙은 새로운 보안 위협에 대응하기 위한 최소한의 안전장치입니다. 우리 조직의 AI 보안 거버넌스가 단순히 사람을 통제하는 것을 넘어, 디지털 행위자(Agent)까지 포용할 수 있는지 점검하고 아키텍처를 재정비해야 할 시점입니다.

[글_ 김정덕 중앙대 산업보안학과 명예교수/인간중심보안포럼 의장]

필자 소개_ 중앙대학교 산업보안학과 명예교수, 인간중심보안포럼 의장, 한국정보보호학회 부회장, 금융 정보보호관리체계 인증위원, 전 JTC1 SC27 정보보안 국제표준화 전문위 의장 및 의원, 전 ISO 27014(정보보안 거버넌스) 에디터 등 역임

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>