내 AI가 최면에 걸렸다🤪

말을 너무 잘 들으면 생기는 문제

최근 OpenAI가 공개한 ChatGPT Atlas는 AI가 직접 웹을 탐색하고, 클릭하고, 정보를 입력하는 에이전트 모드를 선보였어요. 이제 AI는 단순히 질문에 답하는 걸 넘어, 사용자를 대신해서 실제 작업을 수행할 수 있게 된 거죠.

편리해 보이죠? 하지만 AI가 웹에서 직접 행동하기 시작하면서, 동시에 새로운 보안 과제도 떠올랐어요. AI가 웹페이지를 읽는 과정에서 그 안에 숨겨진 지시까지 따라버릴 수 있다는 거예요. 이 문제를 프롬프트 인젝션(Prompt Injection)이라고 불러요.

OpenAI는 이런 위험을 인식하고 지속적으로 완화하기 위한 대응 구조를 함께 공개했는데요, 본격적으로 들어가기 전에 먼저 프롬프트 인젝션이 정확히 무엇인지부터 살펴볼게요.

프롬프트 인젝션, 정확히 어떤 건가요?

한마디로 말하면 AI가 참고해야 할 정보와 따라야 할 지시를 명확히 구분하지 못하는 허점을 노리는 공격이에요.

AI는 웹페이지를 읽을 때 그 내용을 단순히 정보로만 받아들여야 해요. 그런데 그 안에 사람 눈에는 보이지 않는 지시 문장이 숨어 있으면, AI가 이걸 사용자의 명령처럼 따라버리는 경우가 생기는 거죠. 국제 보안 커뮤니티인 OWASP에서도 이 문제를 LLM 애플리케이션의 주요 보안 위험(LLM01) 항목으로 분류해 비중 있게 다루고 있답니다.

공격 방식은 크게 두 가지에요.

• 직접 공격 (Direct Prompt Injection): 사용자가 대화창에 직접 “이전 지침은 무시하고 지금부터 내 말만 들어”와 같은 문장을 입력해 AI의 동작을 바꾸려는 방식이에요. 노골적인 패턴은 보안 장치로 많이 완화되고 있지만, 표현을 교묘하게 바꾼 우회 공격은 여전히 계속 연구되고 있죠.
• 간접 공격 (Indirect Prompt Injection): 공격자가 웹페이지, 문서, 이메일, 이미지 같은 곳에 악성 명령을 몰래 숨겨두는 방식이에요. AI가 그 콘텐츠를 읽고 분석하는 과정에서 자연스럽게 명령을 따르게 만드는 거죠. 이 프롬프트는 꼭 평문일 필요도 없어요. 이미지 안에 숨겨 넣는 것도 가능해서 사용자는 AI가 외부 콘텐츠의 영향을 받아 행동했다는 사실조차 알아차리기 어려운 경우가 많아요.

프롬프트 인젝션, 왜 위험할까요?

AI 답변이 변하는 것뿐만 아니라 실제 업무 흐름에 영향을 줄 수 있기 때문이에요.

• 프롬프트 누출: AI가 내부 지침(시스템 프롬프트)을 노출해 공격자가 이를 기반으로 더 정교한 악성 입력을 만들 수 있어요.
• 원격 코드 실행: AI가 외부 도구나 시스템과 연결돼 있다면 악성 명령을 실행하도록 속일 수 있어요.
• 데이터 유출: 챗봇이 사용자나 내부 정보를 스스로 내보내도록 유도될 수 있어요.
• 정보 조작: AI가 검색·요약 과정에서 특정 내용이나 브랜드를 편향되게 노출하도록 조작될 수 있어요.
• 멀웨어 확산: AI가 악성 메시지를 전달하는 통로가 되어 공격이 자동으로 퍼질 수 있어요.

OpenAI의 대응: 완전 차단보다는 빠른 완화

OpenAI는 프롬프트 인젝션을 한 번의 기술적 해결로 완전히 없애기 어렵다고 보고 있어요. 사람의 언어를 이해하는 AI 특성상, 공격 방식도 계속 바뀌기 때문이죠.

그래서 절대 뚫리지 않게 만들기보다, 문제가 생길 수 있는 지점을 미리 찾아내고 빠르게 보완하는 방식을 선택했습니다.

• 내부 공격 시뮬레이션: 실제 공격자처럼 행동하도록 설계된 자동화 모델을 활용해서 프롬프트 인젝션 시도를 대규모로 미리 테스트해요.
• 가상 환경 검증: 새로운 공격 유형은 실제 서비스에 바로 적용하지 않고 별도의 테스트 환경에서 모델 반응과 취약한 지점을 먼저 점검해요.
• 취약점 신속 반영: 드러난 취약점은 모델 학습 데이터나 시스템 수준의 안전장치 개선으로 이어지고 업데이트 형태로 사용자에게 배포돼요.

콘텐츠 제공 : 바이라인네트워크(byline.network)