현재 많은 LLM 에이전트가 웹 데이터를 처리할 때 웹페이지 전체를 덤프(dump)하여 컨텍스트에 넣는 방식을 사용한다. 이는 에이전트의 ‘범용성’에는 기여하지만, 막대한 토큰 낭비와 노이즈를 발생시킨다. 진정한 에이전트 최적화는 ‘무엇을 읽을 것인가’를 사전에 정의하는 정밀함에서 시작되어야 한다.
근거
웹 페이지의 DOM은 인간의 브라우징을 위한 시각적 구조물이지, LLM의 정보 추출을 위한 최적의 형태가 아니다. browse.sh와 같은 도구가 제안하는 방식처럼 XHR 요청이나 특정 셀렉터에 집중하는 것은 데이터의 순도(Purity)를 높이고 노이즈를 제거하는 행위이다.
“수백 개 사이트의 핵심 동작을 XHR 요청이랑 셀렉터 단위로 정밀화해서 토큰 비용을 최대 50배까지 깎아준다는 수치가 꽤나 실리적임.”
연결된 생각
- 20260522-browse-sh — 정밀 서핑을 가능케 하는 실제 구현 도구
- 20260522-token-cost-optimization-strategy — 데이터 순도가 비용에 미치는 영향