"지금 이동 가능한 분?" 평범한 글인 줄…AI가 포착한 아동 성착취 위험 신호

"나이 많은 사람 상관없는 분 계신가요. 지금 이동 가능한 분이요."

한국여성인권진흥원 산하 중앙디지털성범죄피해자지원센터(중앙디성센터)의 AI(인공지능) 기반 성착취 탐지 시스템은 이 게시물을 '아동 성착취물'일 가능성이 높은 게시글로 분류했다. 노골적인 성적 표현이 없었지만 게시물에 미성년자를 의미하는 단어와 함께 성적인 뜻을 담은 해시태그(#)가 사용되면서 온라인 그루밍(성적 유인)에 해당할 위험도를 86%로 판단했다.

중앙디성센터는 10일 진행한 프레스투어에서 'AI 기반 아동·청소년 온라인 성착취 탐지·신고 시스템' 시연을 공개했다. AI 탐지 시스템은 SNS(소셜미디어)와 온라인 플랫폼에 게시되는 아동 성착취물과 딥페이크(첨단 조작기술) 영상, 온라인 그루밍 정보를 AI를 활용해 24시간 자동으로 수집·분석하는 시스템이다.

중앙디성센터는 올해 4월부터 AI 탐지 시스템을 운영하고 있다. 아동·청소년은 피해를 입어도 직접 신고하기 어려운 경우가 많고 온라인 그루밍은 실제 피해가 발생하기 전에 차단하는 것이 중요한 만큼 AI를 활용한 선제 대응 체계를 구축했다.

이날 시연에서는 AI가 구글, X(옛 트위터), 블루스카이, 텔레그램 등 14개 플랫폼에서 의심 게시물을 자동으로 탐지하는 과정이 공개됐다. AI 탐지 시스템에는 중앙디성센터 직원들이 그동안 모니터링을 통해 축적한 약 220개의 핵심 키워드가 반영돼 있다. AI는 이 키워드를 바탕으로 게시물을 찾아낸 뒤 텍스트와 이미지를 함께 분석해 '성착취물일 가능성'과 '아동·청소년 대상 성착취물일 가능성'을 각각 산출한다. 어떤 표현이나 이미지 때문에 위험하다고 판단했는지 근거도 함께 제시한다.

AI가 성착취물일 가능성을 70% 이상, 아동 성착취물일 가능성을 60% 이상으로 분류하면 해당 게시물은 직원에게 자동 배정된다. 이후에는 직원이 최종 판단을 거쳐 플랫폼에 삭제를 요청한다.

AI 도입 이후 중앙디성센터의 업무 효율은 크게 높아졌다. 기존에는 직원들이 하루 수천 건씩 올라오는 게시물을 직접 확인해야 해 실시간 대응이 어려웠고 퇴근 시간 이후에는 모니터링을 진행하지 못한다는 한계도 있었다. 그러나 AI가 의심 게시물을 먼저 추려내면서 이제는 대량의 데이터를 신속하게 처리할 수 있게 됐다. 현재 AI가 하루 동안 탐지하는 게시물은 약 5000건이다. 종사자 1인당 하루 처리 건수는 지난해 평균 20.8건에서 올해 4~9월 평균 202.1건으로 약 9.7배 늘었다.

AI 탐지 시스템은 사용할수록 성능이 향상되는 구조다. 중앙디성센터 AI는 총 6개의 모델이 함께 판단하는데, 이 가운데 텍스트 분석과 물체 분석 모델 2개는 운영 과정에서 축적되는 데이터를 지속적으로 학습해 정확도를 높인다.

중앙디성센터는 내년부터 탐지 범위를 더욱 확대할 계획이다. 현재 14개 플랫폼을 대상으로 하는 모니터링을 139개 플랫폼으로 늘리고 키워드뿐 아니라 대화의 흐름과 맥락까지 분석해 온라인 그루밍을 식별하는 기능도 추가한다. 중앙디성센터가 미리 입력한 키워드 없이도 대화 내용만으로 성착취 유인 가능성을 가려낼 수 있도록 시스템을 고도화한다는 구상이다.

김미순 중앙디성센터장은 "청소년이 올린 짧은 영상에 '예쁘다', '몇 살이냐' 같은 댓글을 달며 신뢰를 쌓는 과정이 온라인 그루밍의 시작"이라며 "이런 행위는 키워드 검색만으로는 찾아내기 어려워 대화의 맥락을 분석해 성착취 유인을 탐지하는 기술을 개발하고 있다"고 말했다.