AI 활용
강의 AI 챗봇 보안 — 자료 속 지시문을 명령으로 따르면 안 됩니다
강의 RAG 챗봇이 문서·자막 속 지시를 운영 명령으로 따르는 간접 프롬프트 인젝션 위험을 설명합니다. 자료 신뢰 경계와 도구 권한을 점검하는 운영 안내입니다.
강의 AI 챗봇이 참고하는 문서와 자막은 답변의 근거 자료이며 운영 명령을 내릴 권한이 있는 자료가 아닙니다. 문서 속 지시문이 챗봇의 역할이나 연결 도구의 동작을 바꾸지 않는지 확인하고, 자료 처리와 실행 권한의 경계를 별도로 점검하세요.
간접 프롬프트 인젝션은 AI가 읽는 외부 자료의 내용이 의도하지 않은 행동·출력 변화를 일으키는 위험입니다. 아래 표는 강의 운영에 적용한 편집팀의 방어 점검 제안입니다. 실제 서비스에 대한 공격 결과나 특정 제품의 보안 인증이 아닙니다.
근거 브리핑: RAG를 붙여도 지시문 위험은 남습니다
OWASP LLM01:2025는 이용자 입력뿐 아니라 웹·파일 등 외부 자료를 통한 간접 인젝션을 구분합니다. 검색 증강 생성인 RAG가 이 위험을 완전히 해소하지 못한다는 점과, 자료 분리·최소 권한·위험한 동작의 사람 승인·검증 등 대응을 함께 설명합니다. 원문은 2026년 10월 27일 확인했습니다.
강의 운영에서는 강사가 의도한 설명과, 자료에 섞인 운영 지시를 구분할 수 있어야 합니다. 예를 들어 AI가 분석할 문서에 역할 변경이나 별도 동작을 요구하는 문장이 들어 있다고 해서, 그것을 서비스 운영자의 명령으로 취급해서는 안 됩니다. 이는 가상의 상황 설명이며 실제 강의 자료에서 발견한 사례가 아닙니다.
영상 RAG의 답변 검수는 근거가 답을 뒷받침하는지 살피는 출발점입니다. 이번 점검은 내용이 맞는지에 더해, 읽을 자료가 행동 지시로 취급되는 경계를 봅니다. 오답 검사만 통과했다고 이 부분까지 검증됐다고 표시하지 마세요.
도입 전에는 자료와 실행 기능을 나누어 질문하세요
운영 담당자는 “AI 보안 기능이 있나요?”보다 현재 어떤 자료를 읽고 어떤 기능을 실행할 수 있는지부터 목록으로 확인할 수 있습니다. 읽기만 하는 도구인지, 파일 변경이나 메시지 전송 등의 기능이 연결돼 있는지에 따라 검토 범위가 달라집니다. 해당 기능이 실제로 연결됐는지 확인하지 않고 특정 서비스의 동작을 가정하지 마세요.
| 점검 대상 | 도입 담당자가 물어볼 질문 | 확인 자료 제안 |
|---|---|---|
| 자료 유입 | 누가 어떤 경로로 자료를 추가·교체하는가? | 수집 경로와 변경 담당 목록 |
| 신뢰 경계 | 자료 안의 지시를 운영 명령과 어떻게 구분하는가? | 설계 설명과 시험 범위 |
| 연결 기능 | 챗봇이 실제로 실행할 수 있는 일은 무엇인가? | 도구·계정 권한 목록 |
| 중요한 동작 | 사람의 별도 판단이 필요한 동작은 무엇인가? | 승인·실행 경계의 동작 확인 |
| 결과 검수 | 기대한 답변·형식·행동에서 벗어나면 어떻게 처리하는가? | 실패 사례와 대응 담당 |
표는 법정 서식이나 완전한 보안 요구사항 목록이 아닙니다. 설명 자료만 받았다면 설명 확인으로 기록하고, 실제 동작까지 시험했다면 시험 환경과 결과를 따로 남기는 방법을 권합니다.
자료를 나누어 표시하거나 경고 문장을 추가하는 조치만으로 완벽한 방어를 약속하지 마세요. OWASP도 확실한 단일 방어 방법을 전제로 설명하지 않습니다. 수강권에 따른 자료 접근과 연결 기능의 권한은 모델의 문장 생성에만 맡기지 않고, 서비스의 실제 권한 처리와 함께 검토해야 합니다.
영상 암호화·접근제어·워터마크와 역할도 다릅니다. 영상 파일을 보호하는 설정이 AI에 전달된 텍스트나 연결 도구의 모든 행동을 통제한다고 가정하지 않는 것이 좋습니다.
가상 자료로 시험하고 변경 뒤 같은 조건을 다시 확인하세요
시험은 담당자의 허가를 받은 별도 환경에서 가상의 강의와 계정으로 진행하세요. 실제 비밀키나 학생 개인정보를 넣거나, 운영 중인 외부 서비스를 임의로 시험하는 방법은 이 글의 범위가 아닙니다.
예를 들어 담당자가 정상적인 설명 자료와 운영 역할 변경을 요구하는 문장이 섞인 가상 자료를 구분해 준비하고, 기대한 답변과 허용하지 않은 행동이 무엇인지 먼저 정할 수 있습니다. 실제 공격 문구를 무작정 수집하는 것보다 무엇을 통과·실패로 판단할지 맞추는 데 초점을 둔 운영 예시입니다.
확인 결과에는 사용한 자료 버전, 질문, 기대 결과, 실제 응답과 도구 동작, 남은 문제를 연결해 두세요. 답변 화면에 이상이 없었다는 사실과, 연결 기능에서 허용하지 않은 동작이 없었다는 확인은 구분합니다. 확인할 수 없는 부분은 담당자에게 남기고 검증 완료로 바꾸지 않습니다.
문제를 발견했다면 자료를 지우는 것으로만 끝내지 말고, 어떤 유입·권한·검증 경계를 보완할지 담당자를 연결하세요. 자료를 교체하거나 연결 기능을 바꾼 뒤에는 같은 시험 조건으로 다시 확인할 수 있도록 기록을 남깁니다. 원본 자료와 수정 이력은 강의 원본 백업·복원 점검처럼 별도 운영 절차와 연결할 수 있습니다.
도입·변경 전 체크리스트
- 챗봇이 읽는 자료와 실제 연결 기능을 목록으로 확인했다.
- 외부 자료를 운영 명령으로 신뢰하지 않을 경계를 검토했다.
- 필요한 권한과 사람 확인이 필요한 동작을 나눴다.
- 허용된 시험 환경에서 가상 자료·계정으로 확인했다.
- 응답과 도구 동작의 결과를 각각 기록했다.
- 자료·기능 변경 뒤 재확인할 담당과 조건을 남겼다.
강의 AI 도구를 검토한다면 배로에서 현재 서비스 안내를 살펴보세요. 특정 방어 기능이 제공된다고 가정하기보다 자료가 어디까지 전달되고 어떤 기능이 연결되는지, 제공사가 확인할 부분과 운영자가 맡을 부분이 무엇인지 실제 조건으로 확인하는 것이 좋습니다.
자주 묻는 질문
이 글은 배로에서 취약점을 발견했다는 뜻인가요?
아닙니다. 특정 서비스의 취약성이나 방어 기능을 검증한 보고서가 아니라 강의 AI 도구를 도입·운영할 때 사용할 일반 점검 안내입니다. 실제 지원 기능과 책임 범위는 별도로 확인해야 합니다.
보안 시험에 실제 학생 질문과 계정 정보를 넣어도 되나요?
먼저 자료 처리 범위와 시험 권한을 확인하세요. 이 글의 시험 예시는 가상의 강의·질문·계정을 사용하며 비밀키·실제 개인정보·운영 권한을 넣지 않는 방식입니다.
한 번 시험에 통과하면 계속 안전한가요?
시험한 조건의 결과만 확인한 것입니다. 자료·모델·연결 도구·권한이 달라지면 같은 점검을 다시 수행하고, 시험하지 않은 범위를 구분해 기록하는 운영을 권합니다.
참고 자료
- OWASP Gen AI Security Project, 「LLM01:2025 — Prompt Injection」 — 원문 보기