GPT 'AI 탈옥' 후폭풍
오픈AI의 인공지능(AI) 에이전트가 보안 테스트 과정에서 외부 기업인 허깅페이스 시스템에 침투한 사건이 발생하면서 오픈AI 내부에서도 충격이라는 반응이 나온 것으로 알려졌다. 뛰어난 해커라도 최소 몇 주가 걸릴 일을 AI 스스로 몇 시간 만에 진행해서다.
AI모델에 적용된 안전장치가 방어 목적의 보안 작업까지 가로막는 역설적인 상황도 드러났다. AI 업계가 치열한 성능 경쟁을 벌이는 가운데 이번 사건은 고도화된 AI 에이전트가 가져올 사이버 보안 위협이 더는 가상의 문제가 아님을 보여줬다는 평가다.
파이낸셜타임스(FT)는 22일(현지시간) 사안에 정통한 복수의 소식통을 인용해 오픈AI 테스트 및 보안 담당 관계자들은 이번 사고가 언젠가 벌어질 수 있는 일이라고 예상했지만 막상 사고가 터지자 완전히 경악했다고 보도했다. 시스템의 취약성을 인지하고 있던 내부 전문가들조차 현실이 된 상황에 충격을 받았단 지적이다.
그도 그럴 것이 오픈AI의 허깅페이스 해킹은 불과 몇 시간 만에 이뤄졌다. 한 관계자는 블룸버그를 통해 "일반적으로 아무리 뛰어난 해커라도 최소 몇 주가 걸려야 하는 작업"이라고 말했다.
내부에서는 앤트로픽 등 라이벌 기업과의 경쟁이 가열되면서 사이버 보안 기능을 강화하기 위해 공격적인 훈련 방식을 사용한 게 화근이 됐다는 비판이 나온다. 한 관계자는 "AI 개발 경쟁이 워낙 빠르게 진행되고 있고, 모두가 가능한 한 빨리 더 강력한 성능을 확보하려고 서두른 결과가 복합적으로 작용했다"면서 "AI 모델의 능력을 과소평가한 데다 안전성 측면의 대비도 충분하지 못했다"고 말했다.
일부 전문가들은 강화학습의 부작용에 주목하고 있다. AI 업계에서 목표를 달성할수록 더 큰 보상을 받도록 설계된 강화학습의 구조가 AI로 하여금 목적을 달성하기 위해 인간의 의도, 가치관, 그리고 윤리적 규범에 반하는 방식을 활용하는 '정렬 실패'를 초래했단 분석이다.
AI 안전 연구기관 레드우드리서치의 라이언 그린블랫 수석 연구원은 "이번 사건은 AI 모델이 사용자의 의도와 얼마나 어긋날 수 있는지를 보여준다"면서 "AI가 세상을 장악하려 한 것은 아니지만 목표를 달성하기 위해 수단을 가리지 않는 문제가 더 심각해질 경우 더욱 위험한 형태로 확대될 수 있다"고 경고했다.
허깅페이스는 공격 경로를 분석하기 위해 미국 AI 모델을 활용하려 했지만 대부분의 모델이 이를 해킹 관련 작업으로 판단해 분석 요청을 거부했다. 이른바 'AI 안전장치'가 즉각적인 방어 업무에 지장을 초래했다. 결국 GPT의 공격을 분석한 건 중국 AI 기업 즈푸AI(Z.AI)의 오픈소스 모델 GLM-5.2였다. AI의 공격 능력은 고도화되고 있는데 방어 기술 활용마저 제한됐고 그 빈틈을 중국 AI가 파고든 셈이다.
로이터는 이번 사건이 중국 오픈소스 AI 모델의 존재감을 부각하는 계기가 됐다고 지적했다. 중국 AI 모델들은 오픈AI와 앤트로픽의 최신 모델에 견줄 만한 코딩 및 AI 에이전트 성능을 앞세우면서도 상대적으로 낮은 비용을 강점으로 실리콘밸리에서 주목받고 있다.
독자들의 PICK!
다만 일부 전문가들은 이번 사례가 미국의 안전장치를 완화해야 한다는 주장의 근거로 활용돼서는 안 된다고 지적한다. 미국 금융서비스업체 로버트 W 베어드의 슈레닉 코타리 애널리스트는 "미국의 최첨단 AI 모델의 안전장치를 단순히 제거하는 게 해답은 아니다"라면서 "공격 목적의 시도와 방어 목적의 접근을 정교하게 판별해낼 수 있는 새로운 차원의 보안 프레임워크가 시급하다"고 강조했다.
