컴퓨터 사용 에이전트, OSWorld 벤치마크 2년 만에 12%에서 80%대로
화면을 직접 보고 클릭·입력을 스스로 판단해 실행하는 '컴퓨터 사용 에이전트'가 2026년 8월 기준 12개 이상 제품으로 늘었고, 대표 벤치마크 OSWorld 점수는 2024년 약 12%에서 최근 80%대 초중반까지 올라 인간 기준(약 72%)을 넘어섰다. 스크린샷 기반 비전, 접근성 트리 파싱, 하이브리드 방식이라는 서로 다른 구현 방식과 제품별 운영 조건 차이가 실무 도입 시 검토 대상이 될 만하다.
무엇이 바뀌었나
컴퓨터 사용 에이전트는 화면을 보고 마우스 클릭이나 키보드 입력 같은 조작을 스스로 결정해 실행하는 LLM 기반 에이전트를 가리킨다. 이는 화면 이미지를 보고 다음 행동을 판단하는 VLM(비전 언어 모델), 웹 브라우저 안에서만 작동하는 브라우저 에이전트와 구분되는 개념으로, 운영체제 전체를 조작 대상으로 삼는다는 점이 다르다[1]. 실제 화면 조작을 구현하는 방식은 크게 세 가지로 나뉜다. 화면을 스크린샷으로 찍어 비전 모델이 좌표를 판단하는 방식, 애플리케이션의 접근성 트리나 DOM을 파싱해 구조화된 정보로 조작 대상을 특정하는 방식, 그리고 평소에는 구조화된 신호를 우선 사용하다가 필요할 때만 스크린샷으로 보완하는 하이브리드 방식이다[1]. 에이전트가 실제 업무에서 쓸모 있으려면 별도의 작업 환경(샌드박스나 가상머신), 장시간 작업을 이어갈 수 있는 지속성, 클릭·타이핑·스크롤 같은 행동 공간, 그리고 작업 결과를 검증하고 오류에서 복구하는 절차까지 함께 갖춰야 한다는 점도 정리됐다[1]. 2026년 8월 21일 기준으로 이런 요건을 채운 제품은 Manus, OpenClaw, Hermes, Factory의 Droid Computers, OpenAI Codex, Claude Cowork, Perplexity의 Computer와 Personal Computer, Devin, Zo 등 12개 이상이며, 이들을 뒷받침하는 인프라로 E2B, OpenComputer, Orgo 같은 업체가 함께 언급됐다[1].
2년 만에 12%에서 80%대로 오른 벤치마크
컴퓨터 사용 능력을 측정하는 대표 벤치마크 OSWorld에서 에이전트 점수는 2024년 출시 당시 약 12%에 그쳤지만 2026년 중반에는 80%대 초중반까지 올랐다[1]. 이는 사람이 같은 작업을 수행했을 때 나오는 기준 점수인 약 72%를 넘어선 수치다[1]. 웹 조작에 특화된 WebVoyager 벤치마크에서도 텍스트 정보만 활용하는 에이전트는 40.1%에 그쳤지만, 화면을 함께 보는 비전 기반 에이전트는 59.1%를 기록해 시각 정보 활용이 실질적인 성능 차이로 이어진다는 점이 확인됐다[1]. Anthropic이 2024년 10월 컴퓨터 사용 모델 능력을 처음 공개한 이후 OpenAI, Google을 비롯한 주요 업체가 잇따라 유사한 기능을 내놓으면서 2년이 채 안 되는 기간에 벤치마크 점수가 인간 기준을 넘어선 셈이다[1].
기업 실무에서 확인해야 할 조건
이 정도 벤치마크 개선은 여러 시스템을 오가며 데이터를 옮기거나 정형화된 보고서를 작성하는 반복 업무를 자동화 후보로 검토할 만한 근거가 될 수 있다. 다만 도구를 선택할 때는 몇 가지 운영 조건을 먼저 확인할 필요가 있다. 예를 들어 Manus는 무료 요금제에서 작업 환경(Sandbox)을 7일마다 재활용하고 유료 요금제에서는 21일까지 유지하는데, 이런 세션 지속 기간은 장기 작업을 맡기려는 팀의 워크플로 설계에 직접 영향을 준다[1]. 또한 Factory Droid Computers, Perplexity Computer·Personal Computer, OpenAI Codex, Claude Cowork처럼 제품마다 작업 환경 구성과 화면 조작 방식(스크린샷 기반인지, 접근성 트리 기반인지, 하이브리드인지)이 달라, 보안 검토나 접근 권한 관리를 맡는 IT 부서라면 도입 전에 각 제품의 조작 방식과 로그 기록 방식을 개별적으로 확인하는 절차가 필요해 보인다[1]. 개발팀 입장에서는 실무에서 자주 다루는 OpenAI Codex의 경우 최근 GPT-5.6 Sol 모델의 1M 토큰 컨텍스트 윈도우를 켜는 설정값이 공유된 바 있어, 긴 코드베이스를 다루는 작업이라면 이런 세부 설정도 함께 챙길 만하다. Claude Cowork를 검토하는 조직이라면 Anthropic이 Claude Code 주간 사용 한도를 한시적으로 50% 상향한 조치를 8월 31일까지 연장했다는 점도 용량 계획에 참고할 만하다. 이 밖에 Devin이나 Zo처럼 자체 VM이나 개인 서버 기반으로 동작하는 에이전트와, E2B의 Firecracker microVM 같은 별도 인프라 제공업체를 조합해 쓰는 구조의 차이도 비용과 격리 수준을 따질 때 변수로 작용할 수 있다[1].
불확실성
기사에는 하네스(에이전트를 감싸는 실행 틀)와 모델 능력이 점차 수렴하고 있다는 필자 개인 견해도 담겼는데, 이는 검증된 사실이 아니라 저자의 주관적 판단으로 표시돼 있어 별도 확인이 필요하다[1]. 아울러 제품별 비교 내용은 게시 시점 기준으로 정리된 것이며 이 분야 자체가 빠르게 바뀌고 있다는 점도 명시돼 있어, 특정 제품의 기능이나 요금 조건은 도입을 검토하는 시점에 다시 한번 확인하는 편이 안전하다[1].