AI ‘활용’과 ‘악용’ 구분 못하면 이용자 이탈…네이버 블로그 시험대

인스타그램, 사람 행세하는 AI 계정 추천 제한…네이버도 대량생산 글 제한하지만 AI 자동생산 구분 어려워

생성형 인공지능(AI)이 콘텐츠 제작 전반에 빠르게 확산하면서 플랫폼이 직면한 과제도 달라지고 있다. AI 사용 자체를 막는 것이 아니라 정상적인 AI 활용과 기만·대량생산을 구분하는 것이 새로운 과제로 떠올랐다.

인스타그램이 최근 사람처럼 보이는 AI 생성 프로필에 대한 단속을 강화한 것도 같은 맥락이다. 인스타그램은 기존 ‘AI 크리에이터’ 명칭을 ‘AI 생성 프로필’로 변경하고, AI가 만든 인물을 내세우면서도 이를 밝히지 않는 계정을 직접 찾아 추천 노출을 제한하기로 했다. 해당 계정의 콘텐츠는 팔로우하지 않은 이용자에게 추천되는 릴스와 탐색 등 주요 영역에서 노출이 제한된다.

다만 실제 사람이 콘텐츠 제작 과정에서 AI 도구를 활용하는 것까지 제한 대상으로 보지는 않는다. AI로 이미지나 원고를 제작하는 것과 존재하지 않는 AI 인물을 실제 사람처럼 꾸며 운영하는 것은 다르게 다루겠다는 뜻이다.

이번 조치는 사용자 제작 콘텐츠(UGC) 기반의 다른 플랫폼에도 시사점을 준다. AI 사용 여부보다 기만과 자동생산을 판별하는 능력이 중요해지고 있기 때문이다.

인스타그램, ‘사람 행세하는 AI’ 직접 걸러낸다

생성형 AI 기술이 발전하면서 가상 인물을 실제 사람처럼 연출하기가 쉬워졌다. 외모뿐 아니라 일상 사진과 영상, 말투까지 일관된 하나의 인격처럼 구성할 수 있기 때문이다.

문제는 이용자가 이러한 계정을 실제 사람으로 오인할 수 있다는 데 있다. 인스타그램 측은 이용자가 사람인 줄 알고 팔로우했다가 뒤늦게 AI 인물임을 알게 되는 것을 원하지 않는다는 의견을 반영해 정책을 강화했다고 설명했다.

핵심은 AI 인플루언서 자체를 금지하는 것이 아니다. AI 인물임을 명시하면 활동할 수 있다. 다만 이를 밝히지 않고 실제 사람인 것처럼 운영할 경우 플랫폼이 직접 개입해 추천 노출을 제한한다.

판단 기준이 단순한 ‘AI 사용 여부’에서 ‘AI를 통해 이용자를 기만했는가’로 이동하고 있음을 보여준다.

문제는 AI가 아니다…‘활용’과 ‘악용’의 경계

단순하게 AI로 제작했다는 이유만으로 해당 콘텐츠를 저품질이나 악용 사례로 판단할 수는 없다.

창작자가 자료 조사나 분석, 번역, 이미지 생성, 문장 편집 등에 AI를 도구로 사용하면서 전체적인 방향과 최종 검증을 책임진다면 ‘제작 도구로 활용한 것’이다.

반면 AI로 존재하지 않는 경험이나 인물을 만들어내거나, 검색·추천 노출과 광고 수익을 목적으로 콘텐츠를 기계적으로 대량생산하는 것은 다른 문제다.

플랫폼이 구분해야 할 것은 ‘사람이 만든 콘텐츠’와 ‘AI가 만든 콘텐츠’라는 두 가지 분류가 아니다. AI를 제작 도구로 활용한 콘텐츠와 AI로 정체성·경험을 가장하거나 노출 시스템을 공략하는 콘텐츠를 가려내는 것이 중요해지고 있다.

인스타그램의 이번 조치는 이러한 구별 기준을 실제 추천 시스템에 적용했다는 데 의미가 있다.

네이버도 ‘AI 표시’ 도입했지만… ‘자동생산’ 구별은 아직

국내에서는 네이버 블로그도 유사한 과제를 안고 있다.

네이버는 현재 블로그와 카페, 네이버TV, 클립 등에서 AI로 생성·편집한 미디어가 포함될 경우 작성자가 직접 ‘AI 활용’을 표시할 수 있는 기능을 제공하고 있다. 표시된 게시물에는 AI 활용 아이콘이 노출된다. 네이버는 AI 생성 여부를 시스템이 100% 정확하게 식별하기 어렵다는 점을 밝히며 작성자의 자발적인 표시를 권장하고 있다.

그러나 이 기능은 게시글에 포함된 이미지나 영상 등의 AI 활용 여부를 알려주는 데 초점이 맞춰져 있다. 이용자가 읽고 있는 블로그 글 ‘전체’가 어떤 방식으로 작성됐는지까지 보여주는 구조는 아니다.

예를 들어 사람이 직접 경험하고 조사한 내용을 바탕으로 AI를 보조 도구로 사용한 글과 키워드 선정부터 원고 작성, 이미지 생성, 발행까지 프로그램이 자동으로 처리한 글을 이용자가 화면만 보고 구분하기는 어렵다.

네이버 자동완성에서도 ‘블로그 자동화’를 입력하면 ‘AI 블로그 자동화’, ‘블로그 자동화 프로그램’, ‘블로그 자동화 수익’ 등이 나타난다. ‘네이버 블로그 AI’에서는 ‘네이버블로그 AI 거르는법’, ‘네이버블로그 AI글쓰는법’처럼 서로 다른 방향의 검색어도 확인된다.

AI를 활용한 블로그 작성과 AI 글을 구별하려는 검색 표현이 함께 나타난다. 다만 자동완성 결과는 실제 검색량이나 이용자 여론을 의미하지 않는다. 관련 검색 표현이 형성돼 있다는 점을 보여주는 보조 자료로 해석할 필요가 있다.

네이버도 ‘기계적 대량생산’ 제한 중…과제는 이용자 신뢰

네이버가 자동생산 콘텐츠에 대응하지 않는 것은 아니다.

네이버 검색은 ‘검색 품질 저하를 목적으로 자동 생성된 게시물’을 ‘기계적 대량 생성 게시물’로 규정하고 검색 결과에서 제한하고 있다. 실제 체험이 없거나 기계 생성으로 의심되는 원고 역시 검색 노출이 제한될 수 있다고 안내하고 있다.

따라서 네이버가 자동생산 콘텐츠를 방치하고 있다고 단정할 수는 없다.

다만 검색 시스템에서 대량생산 글을 제한하는 것과 이용자가 자신이 소비하는 콘텐츠의 생산 방식을 알 수 있도록 하는 것은 별개의 문제다.

현재 이용자는 특정 블로그 게시물이 실제 경험을 바탕으로 작성됐는지, AI를 보조 도구로 사용했는지, 아니면 제작 과정 대부분이 자동화됐는지를 명확하게 알기 어렵다.

네이버의 ‘AI 활용 표시’는 AI 사용 사실을 공개하려는 창작자에게 투명성을 높이는 수단이 될 수 있다. 다만 자동생산 사실을 숨기려는 운영자까지 자발적으로 참여시키기는 어렵다.

인스타그램이 자발적 표시에만 의존하지 않고 플랫폼이 직접 미표시 AI 프로필을 찾아내는 방향으로 정책을 강화했다는 점도 주목된다. 두 플랫폼의 적용 대상과 방식은 다르지만, 자발적 표시만으로 확인하기 어려운 영역을 어떻게 보완할 것인가라는 공통 과제를 안고 있다.

“내가 믿었던 후기도 거짓?”…콘텐츠 불신이 플랫폼 불신으로

AI 콘텐츠 문제에서 플랫폼이 경계해야 할 것은 개별 콘텐츠에 대한 불신이 플랫폼 전체로 확대되는 상황이다.

인스타그램 이용자가 오랫동안 실제 사람으로 알고 팔로우했던 인플루언서가 가상의 AI 인물이었다는 사실을 뒤늦게 알게 된다면 이후 접하는 다른 인플루언서에게도 ‘실제 사람인가’라는 의문을 가질 수 있다.

블로그도 마찬가지다.

직접 사용한 제품 후기나 실제 경험, 전문적인 정보라고 믿었던 글이 AI로 자동 생성된 콘텐츠였다는 인식이 반복되면 이용자의 의심은 거기서 그치지 않는다.

‘이 글을 믿을 수 있는가’라는 의심이 반복되면 결국 ‘이 플랫폼의 검색 결과를 신뢰할 수 있는가’라는 문제로 확대될 수 있다.

검색과 추천 결과에 대한 신뢰가 떨어지면 이용자는 정보를 얻기 위해 다른 검색엔진이나 AI 서비스, 커뮤니티로 이동할 가능성이 높다.

현재 AI 자동생산 콘텐츠로 인해 네이버 이용자 이탈이 가시화됐다는 직접적인 데이터는 없다. 그러나 생성형 AI로 콘텐츠 생산 장벽이 낮아진 상황에서 플랫폼이 신뢰할 수 있는 정보와 기만적 자동생산 콘텐츠를 제대로 구분하지 못한다면 이용자 신뢰 훼손으로 이어질 수 있다.

AI 시대 플랫폼 경쟁력, ‘콘텐츠의 양’에서 ‘신뢰 선별력’으로

생성형 AI가 확산하기 전까지 콘텐츠 플랫폼의 주요 경쟁력 가운데 하나는 많은 창작자와 양질의 콘텐츠를 확보하는 것이었다.

하지만 AI가 글과 이미지, 영상은 물론 가상의 인물까지 빠르게 만들어내면서 단순히 ‘콘텐츠의 양’을 늘리는 것만으로 차별화하기는 어려워지고 있다.

오히려 실제 경험과 전문성, 독창적인 시각, 검증된 출처처럼 자동으로 대량생산하기 어려운 요소의 가치가 높아질 수 있다. 플랫폼 역시 많은 콘텐츠를 확보하는 것뿐 아니라 신뢰할 수 있는 콘텐츠를 얼마나 정확하게 선별해 제공하느냐가 중요해질 전망이다.

인스타그램이 미표시 AI 프로필을 직접 찾아 추천 노출을 제한하기 시작한 것도 이러한 변화의 한 사례다.

네이버 역시 ‘기계적 대량생산’ 게시물을 검색에서 제한하고 ‘AI 활용 표시’ 기능을 운영하고 있다. 앞으로는 정상적인 AI 활용을 보장하면서도 이용자를 기만하거나 검색·추천 시스템을 공략하는 자동생산 콘텐츠를 얼마나 정확하게 구분할 수 있느냐가 콘텐츠 플랫폼의 신뢰를 좌우할 전망이다.

관련 콘텐츠

⟶ AI 검색 조작 시도 현실화… “추천 리스트 활용” 사례 확인
⟶ 키워드의 시대는 끝났다!… AI 검색이 ‘브랜드’를 최상단에 두는 이유
⟶ “AI 브리핑 출처는 왜 계속 바뀔까” 네이버 특허로 본 AI 검색 구조의 변화

FAQ