새로 쓰는 사용 설명서

인스타 크롤링을 위한 브라우저 세팅을 위한 설정 클래스 기초 구성 ""title: selenium web driver custom classauthor: ===date: 250109descriptionselenium webdriver custom class for instagram scraping- init logic-- selenium webdriver-- user account data- login logic- parse logic"""from selenium import webdriverclass InstaBrowser: def __init__(self, browser_driver): self.url = 'https://www.instagram.com' self.browser_drive..

자료 조사 중, IP 차단에 대한 자료를 볼 수 있었다.주기적으로 데이터를 수집하는 크롤링의 특성상, 같은 IP로 데이터를 수집한다면 차단된 가능성이 높아진다.이를 방지하기 위해, 테더링이나 프록시 서버를 이용하여 다른 IP로 대체하여 데이터 수집을 이어갈 수 있다.

크롤링을 위해서 사용하는 라이브러리나 자동화 툴은 그 움직임이 사람과는 다르게 보일 수 있고, 사람의 행동으로 보이지 않는 입력을 보내게 되면 서버에서 이를 감지하여, 차단을 할 수 있다.크롤링의 경우 대다수의 사이트에서 거부를 하고 있고, 서버에 큰 부담을 줄 수 있어, IT 서비스를 제공하는 사이트의 경우 어느 정도의 봇의 활동에 제한을 하게 된다. 이는 게임에서 매크로를 감시하고, 차단하는 것과 비슷하다고 할 수 있다.자료 수집이나 업무 자동화를 위해 크롤링이나 자동화 툴을 사용하는 경우, 차단을 회피하는 대비는 필수적이라 할 수 있다. 이를 위해서는 다음과 같은 방안을 고려해볼 수 있을 것 같다. 1. 지나치게 규칙적인 움직임 방지: 1분 간격 특정 API 지속적인 호출2. 인간의 입력 범위로 불..

개요selenium을 사용하여 웹 페이지 오픈과 상호작용을 담당하고, beautifulSoup을 사용하여 페이지에서 정보를 수집한다.from selenium import webdriverfrom bs4 import BeautifulSoupurl = ''options = webdriver.ChromeOptions()options.add_argument("--start-maximized")# options.add_argument("--headless") # 웹 브라우저를 화면에 띄우지 않음driver = webdriver.Chrome(options=options)driver.get(url)page_source = driver.page_sourcesoup = BeautifulSoup(page_source, '..

인스타 데이터 수집을 위한 방법으로 instagrapi 라이브러리가 있다.해당 라이브러리는 인스타의 Private API를 역공학하여 인스타 API를 이용한 크롤링 라이브러리로, API호출을 이용하여 데이터를 수집하거나 기능을 이용할 수 있게 해주는 것으로 보인다. 자세한 설명은 공식 사이트에서 볼 수 있다. https://github.com/subzeroid/instagrapi 프로그래밍 경험이 있다면 사용하는데 크게 어려움이 없는 정도이다. 다만 로그인을 하는 과정이 내부적으로 어떤 처리를 하는지 모르지만, 여러 지역에서 접속이 됐다는 알림이 오는 걸로 봐서는 내부적으로 추가적인 처리를 하고 있는 것 같다.