🕷️에이전트

acrawl - LLM 기반 웹 크롤러 에이전트

자연어로 원하는 것을 설명하면 구조화된 데이터를 반환하는 Rust 기반 단일 바이너리 브라우저 자동화 에이전트

#웹크롤링#브라우저자동화#Rust#MCP

acrawl이란?

acrawl은 LLM을 활용한 웹 크롤러 에이전트입니다. 일반적인 브라우저 자동화 도구와 달리, 단순히 클릭하고 탐색하는 것을 넘어 개발자 도구(DevTools)의 모든 기능을 활용할 수 있습니다.

▸Python, Node.js, Docker 런타임 불필요

▸`cargo build --release` 명령 하나로 독립 실행 파일 생성

▸서버나 CI 파이프라인에 바로 배포 가능

▸페이지 탐색 및 클릭

▸네트워크 요청 검사 및 타이밍 분석

▸콘솔 로그 분석 및 중복 제거

▸성능 프로파일링

▸접근성 감사

▸WebSocket 스트리밍

▸다양한 크롤링 및 분석 도구 내장

▸OpenAI, Anthropic 등 25개 LLM 제공자 지원

▸MCP(Model Context Protocol) 서버 기본 탑재

대부분의 브라우저 에이전트는 '탐색'과 '클릭'에서 멈춥니다. acrawl은 한 단계 더 나아가 개발자 도구의 전체 기능을 에이전트의 도구로 제공합니다.

자연어로 목표를 설명하면, 에이전트가 스스로:

▸어떤 페이지를 방문할지

▸무엇을 클릭할지

▸무엇을 검사할지

▸언제 작업이 완료되었는지

모두 파악하여 실행합니다.

▸

TUI, 원샷 프롬프트, MCP 엔트리 포인트: → 런타임 루프

▸

LLM 프로바이더 스트리밍: → 42가지 도구 실행

▸

HTTP 요청, CloakBrowser, Chrome WebSocket 확장: 통합

▸복잡한 웹사이트 데이터 수집

▸CI/CD 파이프라인 통합

▸웹 애플리케이션 성능 모니터링

▸접근성 감사 자동화

▸네트워크 트래픽 분석