웹페이지를 AI가 읽을 수 있는 데이터로 바꾸려면 작업 범위부터 나누면 된다. 페이지 하나를 가져올지, 사이트 여러 페이지를 따라갈지, URL 목록부터 뽑을지에 따라 Firecrawl에서 쓰기 좋은 기능이 달라진다.
scrape는 페이지 하나를 Markdown이나 JSON으로 바꾼다
scrape는 특정 URL 한 개를 가져와 Markdown, HTML, screenshot, JSON 같은 형식으로 정리하는 기능이다. 블로그 글 한 편, 제품 상세 페이지, 문서 페이지처럼 주소가 이미 정해진 자료를 AI에 넣고 싶을 때 먼저 쓰는 기능이다.
예를 들어 경쟁사 가격 페이지 한 개를 읽어 요약하거나, 회사 도움말 문서 한 페이지를 RAG 데이터로 저장하려면 scrape가 출발점이다. 여러 페이지를 자동으로 따라가는 기능이 아니라, 지정한 페이지 하나에서 본문과 구조를 뽑아 Markdown이나 JSON으로 받는 작업이다.
crawl은 사이트 안의 여러 페이지를 따라간다
crawl은 시작 URL에서 링크를 따라가며 여러 페이지를 수집한다. 공식 가격표 기준 scrape와 crawl은 페이지당 1크레딧을 쓴다. 차이는 범위다. scrape가 한 페이지라면 crawl은 사이트 안의 관련 페이지를 여러 개 가져온다.
제품 문서 전체, 도움말 센터, 회사 블로그처럼 페이지가 많은 곳을 한꺼번에 읽힐 때 crawl이 맞다. depth, includePaths, excludePaths 같은 조건으로 구역을 좁히면 필요한 페이지만 골라 AI용 데이터로 만들 수 있다.
map은 크롤링 전에 URL 후보를 찾는다
map은 사이트 안에서 어떤 URL을 수집할지 먼저 파악하는 기능이다. 가격표에서는 map도 페이지당 1크레딧으로 안내된다. 사이트 구조를 모르거나, 문서·블로그·가격 페이지 중 어떤 주소가 있는지 먼저 보고 싶을 때 쓴다.
실무에서는 map으로 URL 목록을 얻고, 그중 필요한 페이지만 scrape하거나 crawl 범위를 좁힌다. 문서, 블로그, 가격 페이지처럼 필요한 구역을 먼저 고르면 수집 결과가 정리되고 크레딧 계산도 쉬워진다.
search와 interact는 비용 계산 방식이 다르다
Firecrawl 가격표에서 search는 검색 결과 10개당 2크레딧이다. 공개 웹에서 후보 페이지를 찾고 그 결과를 다시 scrape하는 식으로 이어진다. interact는 브라우저 조작 시간이 기준이며 브라우저 1분당 2크레딧으로 안내된다.
검색 결과를 많이 가져오거나, 버튼 클릭과 동적 페이지 조작이 필요한 작업은 search, scrape, interact를 함께 쓴다. 처음에는 10~20개 URL만 처리해 크레딧 소모량을 기록하면 이후 작업량을 잡기 쉽다.
무료 1,000크레딧은 테스트용으로 본다
가격 페이지에는 무료 플랜 1,000크레딧이 표시된다. scrape, crawl, map, monitor가 페이지당 1크레딧이라는 기준만 보면 넉넉해 보이지만, 문서 사이트나 쇼핑몰처럼 페이지가 많은 곳에서는 몇 번의 crawl만으로도 월 한도가 줄어든다.
유료 플랜은 월 크레딧과 동시 요청 수가 늘어난다. 한국 페이지에서는 원화 표시가 보이고, 가격 페이지에는 환율과 세금 관련 안내도 붙어 있다. 월 몇 페이지를 수집할지 정해두면 무료 플랜에서 유료 플랜으로 넘어갈 시점을 잡기 쉽다.
RAG와 에이전트용 웹 데이터 수집에 쓴다
Firecrawl은 챗봇 답변을 직접 만들어주는 서비스가 아니다. AI가 답을 만들기 전에 웹페이지를 읽기 좋은 재료로 바꾸는 API다. 개발자가 RAG, 에이전트, 데이터 수집 파이프라인을 만들 때 잘 맞는다.
공개 문서, 도움말, 제품 페이지처럼 주소가 정해진 자료를 AI에 넣는 작업부터 시작하면 Firecrawl의 장점이 잘 보인다. 먼저 scrape로 한 페이지 결과를 보고, map으로 URL 구조를 확인한 뒤, 필요한 구역만 crawl하는 순서로 쓰면 된다.
관련 글
같은 맥락에서 이어서 읽기 좋은 글들입니다.