웹 자료를 AI에 넣으려는데 주소부터 직접 찾아야 할 때가 있다. 한 페이지를 읽는 일은 단순하다. 여러 사이트를 돌며 같은 항목을 모으는 순간 작업이 길어진다. Firecrawl Agent는 주소를 찾는 일부터 맡는 기능이다.
주소를 알고 있으면 scrape가 먼저다
제품 가격표처럼 읽을 주소가 하나라면 scrape가 맞다. URL을 넣으면 페이지 본문을 Markdown이나 JSON으로 받을 수 있다. JSON 형식을 지정하면 상품명과 가격처럼 필요한 항목만 나눠 받을 수도 있다.
이 방식은 결과와 비용을 예상하기 쉽다. 기본 수집은 페이지당 1크레딧이다. 같은 형식의 주소가 여러 개라면 batch scrape로 묶는다. 이미 주소 목록이 있는데 Agent부터 쓰면 찾는 단계에 크레딧을 더 쓸 수 있다.
사이트 안 여러 페이지는 crawl로 모은다
문서 사이트나 회사 블로그 전체를 가져오려면 crawl을 쓴다. 시작 주소에서 링크를 따라가며 여러 페이지를 수집한다. 필요한 경로만 넣고 공지나 태그 페이지를 빼면 필요 없는 페이지가 결과에 덜 들어간다.
crawl도 수집한 페이지마다 1크레딧을 쓴다. 500페이지를 가져오면 500크레딧이 든다. map으로 URL 목록을 먼저 보고 필요한 구역만 고르는 방법도 있다.
주소를 모르면 Agent가 찾아서 정리한다
Agent는 원하는 정보를 문장으로 적으면 웹에서 자료를 찾는다. 여러 사이트를 돌아다니며 필요한 항목을 모은 뒤 정리된 결과를 준다. “특정 조건에 맞는 회사와 창업자, 투자액을 모아 달라”처럼 어느 사이트에 자료가 있는지 모를 때 쓴다.
받을 데이터 항목이 정해져 있다면 JSON 구조를 함께 넣는다. 이름, 주소, 가격처럼 꼭 필요한 칸만 지정하면 뒤에서 다시 정리하는 일이 줄어든다. maxCredits 값으로 한 작업에 쓸 최대 크레딧도 정할 수 있다.
Agent는 하루 5회까지 무료 실행을 제공한다. 그 뒤 비용은 찾아야 할 자료와 작업량에 따라 달라진다. 공식 예시의 창업자 찾기 작업은 약 100~500크레딧을 쓴다. 주소 한 개를 읽는 일이라면 1크레딧짜리 scrape가 훨씬 단순하다.
버튼을 눌러야 하면 Interact를 쓴다
페이지를 열어도 필요한 내용이 바로 보이지 않을 때가 있다. 검색창에 글을 넣거나 다음 버튼을 눌러야 내용이 나오는 경우다. 이때는 scrape한 페이지에 Interact를 이어 붙인다.
Interact에는 “첫 번째 결과를 열고 가격을 알려 달라”처럼 한 가지 행동을 적는다. 여러 행동을 한 문장에 넣기보다 클릭과 이동, 추출을 나누는 편이 낫다. 같은 세션을 이어 쓰기 때문에 앞에서 고른 화면은 유지된다.
코드만 실행하면 브라우저 사용 1분에 2크레딧이 든다. AI에게 행동을 문장으로 맡기면 1분에 7크레딧이 든다. 작업을 마친 뒤 세션을 닫아야 불필요한 사용 시간을 줄일 수 있다.
주소를 알면 scrape를 쓴다. 사이트 전체를 모을 때는 crawl을 쓴다. 자료가 있는 주소를 모르면 Agent를 쓴다. 클릭과 입력이 필요한 화면에서만 Interact를 더한다. 이 순서로 나누면 비싼 기능을 모든 작업에 쓰지 않아도 된다.
참고 URL
- https://docs.firecrawl.dev/developer-guides/usage-guides/choosing-the-data-extractor
- https://docs.firecrawl.dev/features/interact
- https://www.firecrawl.dev/pricing
- https://www.firecrawl.dev/agent
관련 글
같은 맥락에서 이어서 읽기 좋은 글들입니다.