웹크롤링(web crawling) 클라우드 플레어 우회하기
웹 크롤링을 할 때 클라우드 플레어를 사용하는 사이트의 경우 봇 확인을 하게되는데요. web crawling 방법은 여러가지가 있는데요. 이 경우에는 정상적으로 크롤링이 되지 않습니다. 그래서 오늘은 봇 확인을 우회해서 크롤링하는 방법을 알아보겠습니다. 클라우드플레어 우회해서 크롤링하기 먼저 크롬웹사이트를 디버그로 열 필요가 있습니다. 주요 사이트는 Cloudflare 같은 보안 솔루션을 사용하는 경우가 많아서 봇으로 인식되면 크롤링이 안되는데요. 그래서 셀레니움에서 … Read more
