IP 차단에 대한 대비책
IT/크롤링 2025. 1. 6. 23:33자료 조사 중, IP 차단에 대한 자료를 볼 수 있었다.
주기적으로 데이터를 수집하는 크롤링의 특성상, 같은 IP로 데이터를 수집한다면 차단된 가능성이 높아진다.
이를 방지하기 위해, 테더링이나 프록시 서버를 이용하여 다른 IP로 대체하여 데이터 수집을 이어갈 수 있다.
'IT > 크롤링' 카테고리의 다른 글
| insta browser class - 1: init (0) | 2025.01.10 |
|---|---|
| 크롤링 시, 회피 대처 (0) | 2025.01.05 |
| selenium과 beautifulSoup을 사용한 웹 페이지 수집 1 (0) | 2025.01.04 |
| instagrapi 라이브러리를 사용한 인스타 크롤링 (0) | 2024.12.31 |
| 크롤링 시작 - 프로젝트 설정 - 파이썬 환경 설정 (0) | 2024.12.25 |