EU AI법 적용에 따른 AI 생성 문장에 식별 신호 적용… 단어 일부만 바꿔도 탐지율 떨어져 실효성은 의문
오픈AI가 챗GPT와 코덱스(Codex)에서 생성한 글에 눈에 보이지 않는 워터마크를 삽입한다. AI가 작성한 글인지 확인할 수 있도록 문장에 통계적 신호를 남기는 기술로, 유럽연합(EU) 이용자부터 단계적으로 적용한다.
오픈AI는 10월 5일(현지시간) 공식 발표에서 자체 개발한 텍스트 워터마크 기술 ‘텍스트그레인(textGrain)’의 작동 원리와 도입 계획을 공개했다. EU 인공지능법(AI Act)의 AI 생성 콘텐츠 식별 의무에 대응하는 조치다.
그러나 워터마크가 삽입된 글도 일부 단어를 바꾸면 탐지 성능이 크게 떨어져, 실효성에 의문이 제기된다. 오픈AI가 공개한 실험에서 전체 단어의 25%를 동의어로 바꾸자, 워터마크 탐지율이 92%에서 17%로 하락했다.
글에는 표시되지 않는 AI 생성 신호
텍스트그레인은 AI가 다음 단어를 선택할 때 확률을 미세하게 조정해 특정한 패턴이 나타나도록 하는 기술이다. 일반 이용자는 차이를 알아보기 어렵지만, 전용 탐지 도구는 단어 선택에 남은 통계적 패턴을 분석해 워터마크를 확인한다.
문서에 특정 기호나 눈에 보이지 않는 문자를 추가하는 방식과는 다르다. AI 모델이 문장을 생성하는 과정에 직접 적용되기 때문에 글을 복사하거나 다른 문서에 붙여 넣더라도 통계적 신호가 유지된다.
오픈AI는 앞으로 몇 주에 걸쳐 EU 지역의 챗GPT와 코덱스 이용자에게 워터마크를 적용할 계획이다. 무료·유료 요금제 이용자가 모두 대상이지만, 모든 AI 모델과 텍스트 출력에 적용되는 것은 아니다.
오픈AI API에서는 전 세계 고객이 일부 모델에서 워터마크 기능을 선택적으로 사용할 수 있으며, 기본 설정은 비활성화 상태다. 결과적으로 챗GPT와 API에서 생성되는 모든 글에 워터마크가 들어가는 것은 아니다.
워터마크를 확인하는 탐지 도구도 일반에 공개하지 않는다. 초기에는 승인받은 연구기관과 전문 조직에만 이용을 허용하고 기술의 정확성과 활용 가능성을 평가할 예정이다.
관련콘텐츠
⟶ EU, 챗GPT ‘검색엔진’으로 지정… “이용자, MS 빙 넘어섰다”
단어 25% 바꾸자, 워터마크 탐지율 17%로 하락
오픈AI가 영어 텍스트로 진행한 실험에서, 약 400토큰 분량의 원문은 워터마크 탐지율이 92% 수준이었다. 그러나 전체 단어의 10%를 동의어로 교체하자 탐지율이 66%로 떨어졌고, 25%를 교체했을 때 17%까지 낮아졌다.
다른 AI 글쓰기 도구로 원문을 재작성하는 경우에도 워터마크 탐지에 영향을 줄 수 있다. 다른 AI 모델이 문장 구조와 단어를 새로 짜면서 기존 통계 패턴이 바뀔 수 있기 때문이다.
다만 오픈AI가 공개한 실험은 동의어 교체에 따른 탐지율을 측정한 것으로, 다른 AI 모델로 다시 쓴 글의 탐지율을 직접 확인한 결과는 아니다.
글의 길이도 탐지 성능에 영향을 준다. 오픈AI의 별도 실험에서 약 200토큰 분량의 글은 탐지율이 80% 수준이었지만, 400토큰 분량에서는 약 95%로 높아졌다. 수학 관련 글은 단어 선택의 폭이 좁아 일반 설명문보다 탐지 성능이 낮았다.
오픈AI 역시 짧은 글이나 수정·번역된 글에서는 워터마크를 안정적으로 탐지하기 어렵다는 점을 인정했다.
워터마크가 탐지되면 AI가 쓴 글일까
워터마크가 발견됐다고 해서 해당 글 전체를 AI가 작성했다고 단정할 수는 없다.
예를 들어 기자가 직접 작성한 기사를 챗GPT로 교정하거나 일부 문장을 수정했다면, AI가 문장을 다듬는 과정에서 생긴 신호가 최종본에 남을 수 있다.
반대로 AI가 작성한 초안을 사람이 수정하거나 번역한 경우에는 워터마크가 탐지되지 않을 수도 있다.
오픈AI는 워터마크가 AI 시스템의 관여 여부를 판단하는 제한적인 단서일 뿐, 사람의 기여도를 측정하는 기술은 아니라고 설명했다.
또한 워터마크로는 이용자의 신원·계정·대화 내용·프롬프트를 확인할 수 없고, 글의 정확성과 저작권 귀속, 작성 책임 소재도 판단할 수 없다고 밝혔다.
AI 콘텐츠 식별과 검색 품질 평가는 별개
AI 생성 콘텐츠의 식별 문제가 부각되는 가운데, 구글도 최근 가짜 작성자명, 허위 경력, AI로 만든 프로필 사진 등으로 전문가인 것처럼 위장하는 행위를 저품질 콘텐츠의 특징으로 명시했다.
두 회사 모두 AI 콘텐츠 확산에 따른 정보 신뢰성 문제를 다루지만 접근 방식은 다르다.
구글은 작성자 정보를 조작해 독자를 속이는 행위를 문제 삼았다. 반면 오픈AI는 글을 만드는 과정에 AI가 관여했는지 확인할 기술적 단서를 남기는 데 초점을 뒀다.
현재 구글이 오픈AI의 텍스트그레인 워터마크를 검색 순위 평가에 활용한다는 공식 발표는 없다. 오픈AI 역시 텍스트그레인을 검색 순위 조정이나 AI 생성 글의 품질 판별을 위한 수단으로 설명하지 않았다.
워터마크가 탐지되더라도 콘텐츠의 품질이 낮다는 의미는 아니며, 탐지되지 않았다고 해서 사람이 직접 작성한 글이라는 보장도 없다. AI 생성 여부와 콘텐츠의 정확성, 전문성, 신뢰도는 별도로 평가해야 한다.
관련콘텐츠
⟶ 구글, 가짜 작성자 정보에 ‘경고’… AI 생성 프로필 저품질로 분류
AI 사용 여부보다 활용 방식과 책임이 중요
오픈AI는 텍스트 워터마크가 아직 초기 단계의 기술이라고 설명했다. 실제 사용 환경에서 탐지 정확도를 높이기 위한 검증과 개선을 이어가며, 워터마크 기술의 오픈소스 공개도 추진할 계획이다.
글을 작성하거나 콘텐츠를 제작할 때는 초안 작성부터 문장 교정, 번역, 편집까지 다양한 과정에 AI가 활용된다. 워터마크는 이러한 작업에서 AI가 관여했는지 확인하는 단서가 될 수 있다. 그러나 콘텐츠의 정확성까지 판단하지는 못한다. 결국 AI 사용 여부를 식별하는 것과 별개로, 콘텐츠를 발행하기 전에 내용을 검증하고 정확성을 확보하는 과정이 중요하다.
