웹 크롤러는 어떻게 동작할까? 법적 이슈와 가장 간단한 구현까지

웹 크롤러는 한마디로 웹을 자동으로 돌아다니며 데이터를 수집하는 로봇입니다. 검색엔진의 수집기부터 가격 비교 봇, 뉴스 모니터링 도구까지 대부분 이 원리로 움직입니다. 겉보기엔 단순하지만, 실제로는 속도 조절, 중복 제거, 법적 준수 같은 디테일이 중요합니다.

1. 기본 동작 원리: 씨앗에서 숲으로

크롤러는 보통 시드 URL 목록으로 시작합니다. 그 페이지를 가져오고(HTTP GET), HTML을 파싱해 링크를 추출한 뒤, 새 링크를 다시 큐에 넣습니다. 이 과정을 반복하면 링크 그래프를 따라 거대한 사이트를 순회하게 됩니다.

핵심 단계는 다음과 같습니다.

1. URL 큐(프런티어)에서 하나를 꺼낸다.
2. HTTP 요청으로 문서를 가져온다.
3. HTML을 파싱해 본문과 링크를 추출한다.
4. 중복 URL을 제거하고, 새 링크를 큐에 넣는다.
5. 저장소(DB/파일)에 결과를 저장한다.

여기에 <strong>폴리트니스(Politeness)</strong>가 꼭 필요합니다. 너무 빠르게 요청하면 상대 서버에 부하를 주거나 차단될 수 있습니다. 그래서 도메인별 요청 간격을 두고, 재시도와 타임아웃을 설정하는 것이 기본입니다.

또 하나 중요한 것이 robots.txt입니다. 이는 웹사이트가 크롤러에게 허용/차단 규칙을 전달하는 표준이며, RFC 9309로 표준화되어 있습니다. 법적 구속력은 나라와 상황에 따라 다르지만, 업계 관행상 반드시 지키는 것이 안전합니다.

2. 법적 이슈: "괜찮은 크롤링"의 경계

가장 많이 헷갈리는 지점이 법입니다. 결론부터 말하면 "공개된 페이지를 크롤링하는 것"이 항상 안전한 것은 아닙니다.

• CFAA(미국 반해킹법): hiQ v. LinkedIn 사건에서 미 Ninth Circuit은 공개 페이지 접근이 CFAA의 "무단 접근"에 해당하지 않을 가능성이 높다고 보았습니다. 다만 이는 사건 맥락과 관할에 따라 달라질 수 있습니다.
• "Exceeds authorized access" 범위: 미국 연방대법원은 Van Buren 판결에서 CFAA의 범위를 좁게 해석했습니다. 즉, 권한이 있는 사람이 허용된 영역 밖의 데이터에 접근하는 것이 핵심이라는 방향입니다.
• 약관 위반: 사이트의 Terms of Service를 어기면 계약 위반, 부정경쟁, 불법행위로 분쟁이 발생할 수 있습니다. 실제로 eBay v. Bidder's Edge 사건에서는 크롤링이 trespass to chattels(동산침해)로 문제 된 사례가 있습니다.
• 개인정보: EU/EEA 대상 데이터가 포함되면 GDPR이 적용될 수 있습니다. 합법적 근거(예: 동의, 정당한 이익 등)가 필요하며, 개인정보 최소 수집과 투명성이 요구됩니다.

정리하면, "기술적으로 가능"과 "법적으로 안전"은 다릅니다. 사이트 약관, 접근 제한, 개인정보 포함 여부를 반드시 확인해야 합니다. 상업적 목적일수록 리스크는 커집니다. (이 글은 법률 자문이 아닙니다.)

3. 가장 간단한 크롤러 만들기 (개념 위주)

처음에는 풀스택 크롤러보다 "작고 안전한" 버전부터 시작하는 게 좋습니다.

• 라이브러리: requests + beautifulsoup4
• 저장: sqlite 또는 단순 CSV
• 큐: 파이썬 deque
• 중복 제거: set
• 속도 제한: time.sleep + 도메인별 간격

아래는 개념 흐름을 이해하기 위한 최소 예시입니다.

from collections import deque
import time, requests
from bs4 import BeautifulSoup

queue = deque(["https://example.com"])
seen = set()

while queue:
    url = queue.popleft()
    if url in seen:
        continue
    seen.add(url)

    res = requests.get(url, timeout=10, headers={"User-Agent": "MyCrawler/1.0"})
    if res.status_code != 200:
        continue

    soup = BeautifulSoup(res.text, "html.parser")
    for a in soup.select("a[href]"):
        link = a["href"]
        if link.startswith("http"):
            queue.append(link)

    time.sleep(1)  # polite crawling