AI 워터마킹 텍스트, 사람이 알아볼 수 있는지 검증한 실험 결과

무엇이 바뀌었나

블로거 Sean Goedecke가 구글의 텍스트 워터마킹 기술 SynthID-Text가 실제로 텍스트 품질을 눈에 띄게 훼손하지 않는지 검증하기 위해 직접 퀴즈 사이트를 만들었다[1]. 그는 Qwen3-30B-A3B-Instruct-2507 모델로 응답을 생성한 뒤 그중 일부를 SynthID-Text로 워터마킹했고, 참가자들에게 질문 10개, 질문당 응답 3개씩 총 30개 응답 중 어느 것이 워터마킹된 것인지 맞혀보게 했다[1]. 실험에 쓰인 GPU 대여 비용은 약 2달러에 불과했다고 밝혔다[1].

1차 라운드에는 278명이 참여했고 평균 점수는 10점 만점에 3.92점이었다[1]. 순수하게 무작위로 답을 골랐을 때 기대되는 평균 점수가 3.33점이라는 점을 감안하면 이 결과 자체는 무작위보다 살짝 높은 수준이었는데, 저자는 10문제 중 6문제에서 SynthID 응답이 옵션 A에 배치돼 있었던 점을 문제 삼았다[1]. 이에 질문 순서를 재배열해 2차 라운드를 진행했고, 73명이 참여한 이 라운드의 평균 점수는 3.4점으로 무작위 기대치인 3.33점에 사실상 수렴했다[1]. 저자는 이를 근거로 사람이 워터마킹된 AI 텍스트를 식별할 수 없다는 결론을 내렸다[1].

실무에 주는 의미

이 결과가 재현 가능한 수준으로 확인된다면, AI 생성 콘텐츠를 유통하는 기업이나 플랫폼 입장에서는 워터마킹을 콘텐츠 품질 저하 없이 적용할 수 있는 선택지로 검토할 여지가 생긴다. 콘텐츠 정책팀이나 트러스트앤세이프티 조직에서는 워터마킹이 최종 사용자 경험에 미치는 영향을 우려해 도입을 미뤄온 경우가 있는데, 이번 사례처럼 소규모라도 실측 데이터가 쌓이면 그런 우려를 반박하는 근거로 활용될 수 있다. 다만 이번 실험은 Qwen3 모델 하나, SynthID-Text 기법 하나에 국한된 결과이기 때문에, 다른 모델이나 다른 워터마킹 방식에도 동일하게 적용된다고 단정하기는 이르다.

한편 AI가 작성한 텍스트가 웹 전반에 이미 상당한 비중을 차지하고 있다는 조사 결과도 나온 상태라, 챗GPT 이후 웹페이지 35%에서 AI 저작 흔적 발견 같은 연구와 맞물려 워터마킹 같은 출처 표시 기술이 실질적으로 얼마나 실효성을 가질지에 대한 관심은 계속 커질 것으로 보인다. 콘텐츠 플랫폼이나 미디어 조직의 정책 담당자라면 워터마킹 도입 여부를 검토할 때 품질 저하 우려보다는 탐지 회피 가능성이나 검증 인프라 구축 비용 쪽에 더 무게를 둘 필요가 있어 보인다.

확인이 필요한 부분

저자 스스로 이 실험이 과학적 연구가 아니라고 밝혔고, 페이지별 방문자 수를 집계하는 측정 방식이 스푸핑에 취약할 수 있다는 점도 인정했다[1]. 참가자 수도 1차 278명, 2차 73명으로 많지 않아 일반화하기에는 표본 규모의 한계가 뚜렷하다. 또한 기사에서 언급된 Anthropic의 관련 발표는 정확한 시점이 확인되지 않았다. 이런 점들을 고려하면 이번 실험은 워터마킹 기술에 대한 하나의 참고 사례로 볼 수 있을 뿐, 업계 전반에 적용되는 결론으로 받아들이기는 시기상조다.