AI 에이전트 웹 트래픽이 인간을 추월했다는 주장과 'Agent Navigator'의 대응법
한 블로그 게시물이 Cloudflare 데이터를 근거로 자동화 시스템의 웹 요청 비율이 인간을 넘어섰다고 주장하며, 현대 웹사이트가 AI 에이전트에게는 읽기 어려운 구조라는 문제를 제기했다. 이 문제를 풀기 위해 헤드리스 브라우저 없이 DOM과 구조화 데이터를 파싱해 웹사이트 기능을 에이전트가 직접 호출할 수 있게 바꿔주는 무료 서비스 'Agent Navigator'가 함께 소개됐다.
무엇이 바뀌었나
2026년 8월 21일 게시된 한 블로그 글은 Cloudflare CEO 매튜 프린스가 언급한 데이터를 인용하며, Cloudflare Radar 기준 자동화 시스템이 차지하는 웹 요청 비율이 약 57%에 달해 인간 트래픽을 처음으로 앞질렀고, 이는 Cloudflare가 예측했던 크로스오버 시점보다 18개월 앞당겨진 결과라고 전했다[1]. 글쓴이는 이 수치를 근거로 삼아, 정작 현재의 웹사이트 대부분은 JavaScript 실행에 의존하는 구조라 AI 에이전트가 제대로 읽고 조작하기 어렵다는 문제를 짚었다. 해결책으로 제시된 것이 'Agent Navigator'라는 서비스로, JavaScript 실행이나 헤드리스 브라우저 구동 없이 DOM을 파싱하고 JSON-LD·WebMCP·Schema.org Actions 같은 구조화된 데이터를 읽어 웹사이트의 기능을 에이전트가 바로 호출 가능한 도구로 바꿔준다고 설명한다[1]. 이 서비스는 navigate, extract, discover, call_webmcp_tool, call_jsonld_action, submit_form 등 6개의 MCP 도구를 제공하는 것으로 소개됐다[1].
왜 이런 도구가 등장했나
글은 헤드리스 브라우저(예: Playwright)를 통해 에이전트가 웹페이지를 렌더링하고 조작하는 기존 방식이 토큰 비용을 10배에서 100배까지 늘린다고 지적한다[1]. 페이지 전체 DOM과 스크립트를 불러와 렌더링한 뒤 필요한 정보를 추출하는 과정 자체가 무겁고, 이 비용이 에이전트가 실제 업무에 웹을 활용하는 데 걸림돌이 된다는 문제의식이다. Agent Navigator가 내세우는 차별점은 렌더링 단계를 건너뛰고 페이지에 이미 존재하는 구조화 데이터(JSON-LD, WebMCP 선언 등)를 직접 읽어 필요한 액션을 호출하는 방식으로, 비용과 속도 양면에서 이점이 있다는 주장으로 이어진다. 다만 이 수치들은 서비스를 소개하는 블로그 글 자체에서 제시된 것으로, 독립적인 벤치마크나 제3자 검증 결과는 함께 제공되지 않았다.
기업 실무에 미치는 영향
이 흐름이 사실이라면 영향을 받는 쪽은 크게 두 곳이다. 우선 웹사이트를 운영하는 프론트엔드·SEO 담당 조직은 콘텐츠와 기능을 사람이 읽기 좋은 형태로만 설계하는 것을 넘어, JSON-LD나 WebMCP 같은 구조화 데이터를 통해 에이전트가 접근할 수 있는 형태로도 노출할지 검토할 필요가 생긴다. 특히 이커머스나 예약·주문처럼 액션 호출이 잦은 서비스라면, 에이전트가 헤드리스 브라우저 대신 구조화 데이터를 통해 기능을 직접 호출하도록 열어줄지 여부가 향후 트래픽 처리 비용과 연결될 수 있다. 두 번째로 AI 에이전트나 자동화 워크플로를 구축하는 개발팀 입장에서는, 대상 웹사이트가 구조화 데이터를 충분히 제공하지 않을 경우 여전히 헤드리스 브라우저에 의존해야 하므로 Agent Navigator 같은 레이어의 실효성은 대상 사이트의 데이터 준비 수준에 크게 좌우될 것으로 보인다.
확인이 필요한 부분
이 게시물은 서비스 제공자 자신이 작성한 소개글에 가까워, 57%라는 트래픽 비율과 18개월 앞당겨졌다는 시점 비교, 10배~100배 비용 절감 같은 수치는 외부에서 별도로 검증되지 않았다는 점을 감안할 필요가 있다[1]. 글쓴이의 실명도 공개되지 않았고, Cloudflare의 57% 수치가 정확히 언제 발표됐는지도 '2026년'이라고만 언급될 뿐 구체적인 시점은 명시돼 있지 않다[1]. Agent Navigator를 실제 워크플로에 도입하기 전이라면, 자사가 다루는 웹사이트들이 실제로 JSON-LD나 WebMCP 같은 구조화 데이터를 얼마나 갖추고 있는지, 그리고 그 데이터가 없을 때 서비스가 어떻게 동작하는지를 별도로 확인해보는 편이 안전할 것으로 보인다.

