2024 AI Security Day 행사, AI 위협 사례 공유 및 대응 방안 논의
성균관대학교 김기범 교수, KISA 김성훈 팀장, 법무법인 화우 이근우 변호사 발표

[보안뉴스 박은주 기자] AI 시대 생성형 AI를 악용한 다양한 사이버 공격과 새로운 형태의 범죄, 보안 위협이 발생하고 있다. 기술 발전 속도에 맞춰 관련 대응책이 신속하게 마련되지 않으면 피해는 더욱 커질 수 있는 상황이다. AI와 관련된 다양한 사이버 위협 사례를 공유하고 대응방안을 논의하는 자리가 ‘2024 AI Security Day’에서 마련됐다.


AI로 인해 발생하는 범죄는?
AI를 활용한 범죄를 △AI 스스로 행하는 범죄 △AI 시스템 자체를 대상으로 하는 범죄 △AI를 수단으로 이용한 범죄 △AI를 수단으로 행하는 범죄로 구분할 수 있다. 특히 최근에는 AI 시스템을 악용한 ‘딥페이크(Deepfake) 범죄’가 날로 심각해지고 있다. 딥페이크 미디어란 AI를 활용해 사진 혹은 영상을 제작해 실제처럼 보이지만 조작된 오디오 또는 시각 미디어를 말한다. 해당 미디어를 통해 음란물 제작 및 유포, 가짜뉴스, 투자사기 등 각종 범죄가 자행된다.

성균관대학교 김기범 교수는 영국 유니버시티 칼리지 런던에서 발표한 ‘AI-enabled future crime’ 자료를 공유하며 “AI 범죄에서의 심각성 평가 결과, 딥페이크, 딥보이스 범죄가 고위험군”이라고 설명하며 “실현 가능성이 큰 범죄이면서 범죄자에겐 이익이, 피해자는 손해가 큰 범죄”라고 설명했다. 또한 “눈으로 볼 수 있는 증거에 대한 신뢰도를 떨어트리고, 영상 사실 여부를 가리는 데 수사기관에는 엄청난 부담을 주게 될 것”이라고 말했다. 이밖에 고위험군에는 드론 공격, 피싱, AI를 이용한 가짜 뉴스 위협 등이 있다.

방송통신심의위원회에 따르면 올해 7월 말까지 딥페이크 성범죄 영상물에 대한 시정요구 건수가 6,434건으로 전년 1,684건 대비 약 4배 폭증한 것으로 드러났다. 법무법인 화우 이근우 변호사는 최근 피해학교 지도를 공유하며 “전국의 여러 학교에서 딥페이크 성범죄가 발생하고 있다”며 “딥페이크를 악용한 성범죄 영상물 96%가 여성을 표적 삼았고, 학교 내 어린아이들이 피해자 혹은 가해자가 될 수 있다”며 심각성을 강조했다.

딥페이크 범죄, 대응현황은?
EU나 G7 등 해외에서는 생성형 AI를 활용한 결과물에 대해서 워터마크 등 ‘라벨링(Labeling)’ 혹은 ‘출처 표시’를 법제화해 대응하고 있다. 법무법인 화우 이근우 변호사는 EU 인공지능법을 소개하며 “생성형 인공지능으로 오디오·이미지·영상·텍스트 등 인위적인 콘텐츠를 생성하는 인공지능 시스템 공급자는 결과물이 인위적으로 생성·조작된 것임을 표시해야 한다고 명시하고 있다”고 설명했다.

우리나라의 현재 성폭력처벌특례법 등 기존 법안으로는 딥페이크 성범죄를 처벌하기에 한계가 있는 상황이다. 전문가들 사이에서는 불법 촬영물에 딥페이크 영상 추가, 딥페이크 수요자 처벌 규정 추가, 성 착취물에 딥페이크를 포함한 구체적 처벌 기준을 마련해야 한다는 의견이 제기되고 있다. 지난 9월 1일 여야 대표가 만나 딥페이크 처벌규정 강화에 합의하고, 딥페이크 성 착취물 소지·구입·저장·시청자 처벌법 개정안이 발의되는 등 대응책을 마련해가는 단계다.

생성형 AI에 따른 보안 위협은?
생성형 AI가 가지는 여러 위협 중 ‘AI 보안 위협’은 △AI 모델·시스템 취약점 공격 △사이버 범죄에 AI 악용 △데이터 유출 등이 있다. 한국인터넷진흥원(KISA) 김성훈 팀장은 “머신러닝 알고리즘 취약성을 악용해 AI 모델 스스로 잘못된 판단을 하도록 유도하거나, 프롬프트 내 명령어를 우회해서 부적절한 답변을 유도하는 위협이 이어진다”고 설명했다. 이와 함께 민감정보 유출, 악성코드 제작·유포 및 취약점 분석 악용 등 다양한 위협이 존재한다. 또한, 다국적 언어 모델을 탑재한 AI 기술을 사용해 피싱 메일 제작, 스미싱, 보이스피싱 등 사회공학적 사이버 범죄가 발생하고, 이에 따른 경제적 피해 규모가 급증하고 있다.

그러나 이미 본격적인 AI 상용화 단계에 진입하고 AI 시대가 본격화되며 다양한 분야에서 AI가 영향을 미치고 있다. 따라서 AI 기술이 미치는 영향을 충분히 이해하고, 위험을 최소화할 수 있는 적절한 방안 마련이 필요하다. KISA 김성훈 팀장은 “레거시 시스템과 AI 모델 보안을 병행해 AI 보안 위협에 대응해야 한다”며, “일회성으로 검증하는 레거시 시스템에 비해 주기적인 보안 검증이 필요한 AI 모델을 활용하면 정기적인 보안 점검을 진행할 수 있기 때문”이라고 말했다.

김 팀장은 “KISA는 앞으로 가이드라인, 인증, 인력 양성 등 AI를 안전하게 보호하기 위한 균형 있는 대책을 수립할 것”이라며 “동시에 AI 모델 취약점 분석 및 AI 악용 범죄에 대응하는 등 AI 기술을 활용해 보안을 강화할 것”이라고 덧붙였다.
[박은주 기자(boan5@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>