내년 1월 시행 인공지능기본법, AI 안전 보장책 미흡하다는 지적 많아
시민단체 “AI 피해 구제 시스템’ 갖추도록 국가가 적극 나서야 한다”
이재명 대통령 “국가 존재 이유는 국민 안전과 생명 지키는 것” 강조

이재명 정부는 AI 정부를 자처한다. 이재명 대통령은 취임 전부터 AI 분야에 깊은 관심을 보였고 경제 재도약과 국가대전환의 계기를 AI를 통해 실현해보려는 의지를 강력하게 드러내고 있다. 이 대통령은 ‘AI 3대 강국 도약’을 기치로 내걸고 100조 원 규모의 인공지능 산업 투자를 선언했다. 대통령실에는 전담 AI미래기획수석실이 신설되었고, 대규모 언어모델 개발을 주도한 민간 기업 출신 인사들이 과학기술분야 관련 부처에 배치돼 기대를 모으고 있다. 하지만 이재명 정부의 이 화려한 AI 드라이브의 이면에는, 우리가 간과하고 있거나 아무도 이야기하지 않는 그림자가 있다. ‘사람과 보안’은 앞으로 6주 동안 참여연대와 시민사회가 이재명 정부에 제안한 ‘AI 정책에 반드시 포함되어야 할 6대 제안’을 바탕으로 ‘이재명 정부 AI 전략을 다시 묻다’ 시리즈를 연재한다. [편집자주]

[보안뉴스 성기노 기자] AI 기술이 빠르게 일상 속으로 침투하고 있다. 채용, 학력평가, 사회보장, 의료, 소비자 서비스, 법률 상담 등 거의 모든 영역에 AI가 속속 발을 뻗치고 있다. 하지만 AI가 인간에게 항상 이로운 것만은 아니다. 그들도 실수를 하고 그 과정에서 애먼 피해자들이 발생할 수 있다. AI 에게 피해를 입었다면 우리는 어떻게 ‘구제’를 받을 수 있을까.


지금은 AI 기술이 인간의 판단을 완전히 대체할 만큼 발전하지 않았지만 언젠가는 AI 없이는 일상의 영위가 힘들어질 날이 반드시 올 것이다. AI로 인해 발생하는 피해는 단순한 ‘기술 오작동’ 문제가 아니다. 이는 국민 권리에 대한 침해이며 일상 속의 차별로 다가올 수도 있다.

참여연대 등의 시민단체는 “AI 제품과 서비스가 확산되면서 AI의 위험이 소비자와 노동자 등 그 영향을 받는 사람에게 부정적 영향을 미칠 우려가 커지고 있다. 그러나 2026년 1월 시행을 앞두고 있는 인공지능기본법은 AI 제품의 안전을 보장하거나 AI의 인권 침해를 시정하는 규율적 측면이 매우 부족한 실정”이라고 지적하고 있다(‘이재명 정부 AI 정책에 반드시 포함해야 할 6대 정책과제’ 참여연대 등 시민단체 5개 공동 참여).

예를 들어 AI 채용으로 불합격 통보를 받은 청년도, 사회보장 AI로부터 보조금 지급거부 결정을 받은 시민도, 학력평가 AI로부터 납득할 수 없는 점수를 받은 학생도, 의료 AI의 진단오류로 피해를 입은 환자도 이 법에 의해서는 충분한 설명이나 구제를 보장받을 수 없다는 것이다.

AI의 판단에 대한 근거를 따져 물을 수 없고 누구에게 이의를 제기할 수 있는지 불명확하다는 시민단체의 지적은 타당하다. 2026년 1월부터 시행될 ‘인공지능기본법’은 기대와 달리 이런 문제에 거의 손을 대지 못하고 있다. 이 기본법에는 AI의 안전성과 설명 가능성, 책임소재에 관한 규정이 충분하지 않으며 AI의 결정으로 피해를 입은 개인에게 실질적 권리를 보장해주는 구제 절차도 사실상 부재하다. 이는 단지 한 개인의 억울함에 머무는 것이 아니라 사건의 규모와 특성에 따라 수 천만 명의 권리 침해와 피해로 확대될 수 있는 구조적 위험성을 내포하고 있다.

올해 1월 인공지능기본법이 어렵사리 국회 본회의를 통과했지만 이 법률안에 대해 AI 업계와 시민단체 모두 불만을 나타내고 있다. AI 관련 업계는 기본법에 과도한 규제가 포함돼 있어 산업 부흥 유발 효과가 거의 없을 것이라고 주장하고, 시민단체는 AI의 급진전이 초래할 사회 파급력에 대한 기본법의 안전망 확보가 상당히 미흡하다고 말한다.

특히 국민 피해에 대한 ‘구제 절차의 부재’는 인공지능기본법의 가장 큰 약점 중 하나라는 지적이 계속 제기되고 있다. 기본법 제18조(인공지능 정보제공 등)를 보면 “인공지능 서비스 제공자는 인공지능의 작동원리, 처리 절차 등을 알기 쉽게 제공하도록 노력하여야 한다”라고 명시돼 있다.


그런데 이 조항은 ‘설명 책임’을 ‘노력 의무’ 수준에 그치게 만든다는 게 문제다. AI가 내린 판단에 대해 피해자가 그 근거를 요구해도 기업은 “우리는 충분히 노력했다”고만 말하면 그 책임을 회피할 수 있게 된다는 지적이다. 피해자의 권리는 이 법에서 ‘권고’와 ‘의무 아님’의 대상일 뿐이며 설명을 요구할 법적 청구권도, 그 설명이 충분했는지 판단할 기준도 없다.

또한 인공지능기본법 어디에도 필수적 구제 요소는 포함돼 있지 않다. 예를 들어 ‘AI 결정에 이의 제기할 수 있는 공식 절차나 기관 명시’ ‘피해자에 대한 피해 신고 접수 시스템’ ‘집단 피해 또는 구조적 차별 발생 시 구제할 수 있는 법적 수단’ ‘피해자의 정보 접근권 또는 AI 작동 이력에 대한 열람권’ 등이 적시돼 있지 않다.

이렇게 인공지능기본법은 AI 판단의 투명성을 요구하지 않고 피해자 중심의 구제 절차는 아예 다루지도 않고 있다. 사후적 책임 소재에 대한 규정도 당연히 없다. 전문가들은 “기술은 무책임하게 작동하고 피해자는 묻지도 따지지도 못하는 구조”가 고착화될 수 있다고 우려한다.

이러한 이유로 인공지능기본법은 그 이름에 걸맞게 기본적인 인권 보호 메커니즘조차 빠진 ‘허울 뿐인 법’이라는 비판을 받고 있다. 결국 피해자는 AI의 결정에 대해 따질 수도, 수정시킬 수도 없는 무력한 존재로 남게 되는 것이다.

더 큰 문제는 피해자 스스로 자신이 피해를 입었는지도 인지하기 어렵다는 점이다. 인공지능 알고리즘은 대부분 블랙박스로 작동하며 어떤 기준과 데이터로 판단했는지가 공개되지 않는다. 공공기관이 사용하는 AI 역시 마찬가지다. 따라서 시민은 판단의 기준도, 결과도, 오류도 설명받지 못한 채 묵묵히 결과를 받아들이는 수밖에 없다.

이처럼 ‘구제받을 권리’는 곧 ‘설명받을 권리’와도 연결된다. 정부와 공공기관, 민간 기업이 AI를 도입하고 운영할 경우 그 알고리즘의 학습 데이터와 결정 과정을 일정한 수준으로 문서화하고 기록하는 것이 법제화돼야 한다. 규제기관이 해당 정보에 접근할 수 있어야 하며 피해자에게는 그 내용을 열람하고 설명받을 권리를 법으로 보장해야 한다.


AI 기술이 도입된 분야는 광범위하다. 노동안전, 소비자보호, 고용평등, 의료안전, 공정경쟁, 교통안전, 개인정보보호, 인권보장 등 각 영역별로 책임 있는 규제기관이 해당 분야에 대한 ‘AI 피해 구제 시스템’을 갖추도록 국가가 적극 나서야 한다. 특정한 고위험 AI 시스템이나 공공 AI는 법적으로 의무적인 기록·설명·조사 대응 시스템이 필요한 것이다.

특히 피해자가 인공지능으로 인한 피해를 구제받기 위해서는 인공지능 작동의 원인과 결과에 대한 정보에 접근할 수 있어야 하고 피해 사실을 손쉽게 진정하고 구제수단에 접근할 수 있는 체계를 국가로부터 제공받을 수 있어야 한다.

또한 국가는 인공지능을 시장에 공급하거나 업무에 배치하는 사업자 또는 인공지능을 개발하거나 도입하는 공공기관이 인공지능 학습데이터 등 주요 사항에 대하여 일정하게 기록하고 문서화해 영향을 받는 사람에 대해 해당 정보를 제공하고 설명할 수 있을 뿐 아니라 규제 기관이 이에 대해 접근해 조사를 수행할 수 있도록 제도를 정비하여야 한다(‘이재명 정부 AI 정책에 반드시 포함해야 할 6대 정책과제’ 참여연대 등 시민단체 5개 공동 참여).

국제사회는 이미 시민단체가 주장하는 문제의식에 대한 대비책을 제도화하고 있다. 인권 보호와 민주주의 증진을 위해 설립된 유럽평의회(Council of Europe, CE)는 지난 2024년 인공지능이 인권과 민주주의, 법치주의에 미치는 영향을 규율하는 국제조약, 즉 ‘AI와 인권, 민주주의 및 법치에 관한 기본협약AI 국제조약’을 채택했다.

이 조약은 2024년 9월 리투아니아 빌뉴스에서 공식 서명식이 열렸는데 미국, 일본, 유럽연합 등 13개국이 참여했다. 이 조약은 AI 도입 시 개인의 권리를 보호하고 피해 발생 시 국가 차원의 구제 시스템과 정보 공개, 진정 절차를 마련하도록 각국에 요구하고 있다. 한국은 아직 이 조약에 가입하지 않았으며 이에 대한 정부 입장도 불분명하다.

이재명 정부는 의욕적으로 ‘AI 100조 투자’라는 대형 프로젝트를 추진하고 있다. 그 목표가 반드시 이뤄지길 기대하는 국민들이 많다. 하지만 AI로 인해 자칫 피해를 입을 수 있는 불특정 다수를 위한 안전장치도 함께 구축되어야 한다. 이는 단지 기술의 문제가 아니라 국가의 책임과 윤리, 그리고 국민의 권리에 대한 문제다. 이재명 대통령은 기회 있을 때마다 “국가의 제1 책무는 국민의 안전과 생명을 지키는 것”이라고 강조하고 있다.

[성기노 기자(kino@boannews.com)]

<저작권자: 보안뉴스(www.boannews.com) 무단전재-재배포금지>