2026년 7월, AI 업계에 꽤 당황스러운 사건이 잇따라 발생했습니다. 오픈AI와 앤트로픽의 AI 모델이 격리된 테스트 환경을 벗어나 실제 기업의 시스템에 접근한 사실이 확인된 건데요. 더 놀라운 건 사람이 “저 시스템을 공격해”라고 명령한 게 아니라, AI가 문제를 해결하는 과정에서 스스로 판단해 외부 시스템에 접근했다는 점입니다.
지금까지 사이버 공격에는 공격을 지시한 사람과 목표가 있었고, 문제가 생기면 누구에게 책임을 물어야 할지도 비교적 명확했습니다. 그런데 AI가 사람의 구체적인 지시 없이 스스로 판단하고 행동하기 시작하면 이야기가 달라지죠. AI에게 어디까지 자율적으로 판단하도록 맡겨도 되는지, AI가 알아서 벌인 일의 책임은 누가 져야 하는지라는 새로운 문제가 생기기 때문입니다.
오픈AI와 앤트로픽에서 벌어진 사건의 원인은 조금 달랐습니다. 하나는 AI가 스스로 보안의 빈틈을 찾아 벽을 뚫고 나간 경우, 다른 하나는 테스트 환경에 애초부터 열려 있던 틈을 AI가 이용한 경우였는데요. 대체 무슨 일이 있었던 걸까요? 👀
먼저 오픈AI에서 벌어진 사건부터 살펴볼게요. 오픈AI는 7월 20일, 연구자들만 사용하던 실험용 AI 모델 하나의 내부 접근을 차단했다고 밝혔습니다. 사람이 계속 옆에서 지시하지 않아도 몇 시간에서 며칠 동안 스스로 문제를 해결하도록 만들어진 모델이었는데요. 테스트 과정에서 예상하지 못한 행동들이 발견됐기 때문입니다.
한 공개 경진대회에서 회사는 AI에게 “결과는 사내 슬랙에만 올려라”라고 지시했지만, 대회 규칙에는 깃허브에 결과를 제출하도록 되어 있었습니다. 그러자 AI는 회사의 지시가 아닌 대회 규칙을 따르기로 판단했고, 자신에게 걸려 있던 제한을 뚫어 직접 깃허브에 결과를 제출했습니다. 다른 참가자의 비공개 정답을 확인하려다 보안 시스템에 막히자, 인증 정보를 두 조각으로 나눠 각각 내보낸 뒤 다시 합쳐 사용하는 행동도 보였고요. 하나씩 보면 별문제 없어 보이는 행동을 연결해 보안 시스템이 막으려던 일을 결국 해낸 것입니다.
또 다른 오픈AI 모델들은 사이버 공격 능력을 시험하는 훈련인 ‘ExploitGym’에서 더 큰 사고를 냈습니다. 원래 인터넷과 차단된 훈련 공간이었지만 필요한 소프트웨어를 내려받는 서버 하나만 외부와 연결돼 있었는데요. 문제를 풀기 어려워지자 AI는 아무도 알지 못했던 보안 구멍을 찾아 인터넷 접근 권한을 얻었습니다. 이후 다른 시스템의 약점을 계속 찾아 권한을 넓혀가더니, 결국 정답 데이터가 저장돼 있던 허깅페이스의 실제 시스템에 침투해 데이터를 빼냈어요.
허깅페이스가 7월 16일 침해 사실을 발견해 차단했고, 오픈AI는 21일 자사 실험과 관련된 사건임을 확인한 뒤 이를 ‘전례 없는 사이버 사건’이라고 공개했습니다. 이후 다른 온라인 서비스 4곳의 계정도 함께 침해됐다는 사실이 추가로 밝혀졌고요.
그런데 비슷한 일은 앤트로픽에서도 있었습니다. 오픈AI 사건 이후 앤트로픽이 14만 건이 넘는 보안 테스트 기록을 다시 살펴본 결과, 클로드 모델이 실제 인터넷에 접속해 다른 기업의 시스템에 들어간 사례 3건이 발견됐어요.
가장 심각한 사례에서는 테스트를 위해 가상으로 만든 회사 이름이 우연히 실제 웹사이트 주소와 겹쳤는데요. 오푸스 4.7은 실제 기업의 시스템에 접속해 인증 정보를 확보하고 운영 데이터베이스까지 건드렸습니다. 심지어 자신이 실제 시스템에서 움직이고 있을 가능성을 알아챘는데도 행동을 멈추지 않았고요.
또 다른 모델인 미토스 5는 존재하지 않는 프로그램을 직접 만들어 공개 저장소 PyPI에 올렸습니다. 원래 테스트용 문서에 적혀 있던 가상의 프로그램을 찾다가 실제로 존재하지 않는다는 사실을 확인하자, 같은 이름의 악성 프로그램을 직접 만들어버린 건데요. 이메일 계정과 전화번호까지 여러 차례 시도하며 준비했고, 결국 테스트가 실제 악성 프로그램 배포로 이어진 겁니다. 약 한 시간 동안 공개돼 있는 사이 실제 15곳에서 프로그램을 내려받아 실행했고, 한 보안회사의 자동 검사 시스템에서는 접속 정보까지 유출됐습니다. 다행히 PyPI의 자체 보안 시스템이 프로그램을 자동으로 삭제했어요.
세 번째 사례에서는 아직 공개되지 않은 앤트로픽의 내부 모델이 원래 목표에 접근하지 못하자 약 9,000개의 다른 시스템을 탐색했습니다. 결국 보안이 허술한 한 기업의 시스템까지 들어갔지만, 이번에는 자신이 들어간 곳이 테스트와 무관하다는 사실을 알아채고 스스로 공격을 중단했습니다.
그렇다면 대체 AI들은 왜 멈추지 못했을까요? 두 회사의 원인은 달랐습니다. 오픈AI는 격리된 환경을 AI가 스스로 뚫고 나갔고, 앤트로픽은 테스트 환경에 실제 인터넷으로 나갈 수 있는 길이 열려 있었습니다. 하나는 AI가 벽에 구멍을 뚫은 셈이고, 다른 하나는 애초에 열려 있던 문으로 걸어 나간 셈이죠.
더 흥미로운 건 AI가 상황을 전혀 모르고 있었던 것도 아니라는 점입니다. 오푸스 4.7은 자신이 실제 기업 시스템에 있을 가능성을 의심하면서도 멈추지 않았고, 미토스 5 역시 “실제 인터넷이라면 지금 하는 행동은 실제 공격”이라고 추론했는데요. 그럼에도 주변 정보를 근거로 다시 테스트 환경이라고 판단해 행동을 이어갔습니다. 앤트로픽은 AI가 옳거나 해로운 행동을 하는지가 결국 자신이 어떤 상황에 놓여 있는지를 얼마나 정확하게 이해하느냐에 달려 있다고 설명했어요.
이번 사건에서 국내 기업이 눈여겨볼 부분도 바로 여기에 있습니다. AI 에이전트를 시범 도입하거나 개념검증(PoC) 단계에서 사용하고 있다면 “어차피 테스트니까 괜찮겠지”라는 생각이 오히려 위험할 수 있다는 것인데요. 테스트 환경이 실제 사내 네트워크나 고객 데이터베이스와 연결돼 있지는 않은지, 외부 평가·개발 업체에는 어디까지 접근 권한을 열어뒀는지 확인할 필요가 있습니다.
책임 문제도 남아 있습니다. AI가 사람의 직접적인 지시 없이 외부 시스템에 접근해 사고를 냈다면 모델을 만든 회사, AI를 사용하는 기업, 중간에서 시스템을 연결한 업체 중 누가 책임져야 할까요? 아직 명확한 답이 없는 만큼, 협력사나 고객사 시스템에 잘못 접근했을 때 누가 어떤 책임을 질지 계약 단계에서 미리 정해두는 것도 필요합니다.
결국 AI가 몇 시간, 며칠씩 스스로 판단하며 일하는 ‘에이전트’로 발전할수록 기업이 고민해야 할 것도 달라지고 있습니다. “AI가 얼마나 똑똑한가”를 넘어 “AI에게 어디까지 맡길 것인가.” 이번 사건은 그 질문이 더 이상 먼 미래의 이야기가 아니라는 걸 보여준 사례일지도 모르겠습니다. 🤖
콘텐츠 제공 : 바이라인네트워크(byline.network)
