🕷️에이전트
acrawl - LLM 기반 웹 크롤링 에이전트
자연어로 원하는 것을 설명하면 구조화된 데이터를 추출하는 Rust 기반 단일 바이너리 브라우저 자동화 도구
↗ 원본 링크#웹크롤링#브라우저자동화#Rust#LLM#MCP
acrawl이란?
acrawl은 LLM을 활용한 지능형 웹 크롤러입니다. 평범한 영어(자연어)로 원하는 작업을 설명하면, 에이전트가 자동으로 웹사이트를 탐색하고 구조화된 데이터를 추출해줍니다.
주요 특징
🦀 단일 Rust 바이너리
▸Python, Node.js, Docker 불필요
▸`cargo build --release` 한 번으로 실행 파일 생성
▸서버나 CI 파이프라인에 바로 배포 가능
🔧 42가지 도구 + 25개 LLM 프로바이더
▸단순 클릭/네비게이션을 넘어선 고급 기능
▸네트워크 요청 검사 및 타이밍 분석
▸콘솔 에러 분석 및 중복 제거
▸페이지 성능 측정
▸접근성 감사
▸WebSocket 스트리밍
🎯 DevTools 통합
▸브라우저 개발자 도구의 모든 기능을 에이전트 도구로 제공
▸네트워크 트래픽 모니터링
▸콘솔 에러 디버깅
▸성능 프로파일링
▸접근성 검사
🔌 MCP 서버 내장
▸Model Context Protocol 서버가 기본 탑재
▸다양한 AI 모델과 쉽게 연동
아키텍처
acrawl은 세 가지 진입점을 제공합니다:
▸
TUI (터미널 UI): 대화형 인터페이스
▸
원샷 프롬프트: 단일 명령 실행
▸
MCP: 외부 도구와의 연동
모든 진입점은 LLM 프로바이더와 통신하며, HTTP 요청, CloakBrowser 자동화, Chrome WebSocket 확장을 통해 작업을 수행합니다.
왜 acrawl인가?
기존 브라우저 에이전트들은 대부분 "페이지 이동"과 "클릭"에 그칩니다. acrawl은 한 걸음 더 나아가 개발자 도구의 모든 기능을 에이전트가 직접 활용할 수 있게 합니다.
복잡한 런타임 설정 없이, 단일 바이너리로 강력한 웹 자동화와 데이터 추출을 실현하는 것이 acrawl의 핵심 가치입니다.