IT

웹 크롤링을 할 때 클라우드 플레어를 사용하는 사이트의 경우 봇 확인을 하게되는데요. web crawling 방법은 여러가지가 있는데요. 이 경우에는 정상적으로 크롤링이 되지 않습니다. 그래서 오늘은 봇 확인을 우회해서 크롤링하는 방법을 알아보겠습니다. 클라우드플레어 우회해서 크롤링하기 먼저 크롬웹사이트를 디버그로 열 필요가 있습니다. 주요 사이트는 Cloudflare 같은 보안 솔루션을 사용하는 경우가 많아서 봇으로 인식되면 크롤링이 안되는데요. 그래서 셀레니움에서 … Read more

2025년 말 한국 인터넷 지형도는 ‘유튜브의 독주’, ‘검색 엔진의 격차 확대’, 그리고 ‘AI 서비스의 일상화’라는 세 가지 키워드로 요약된다고 할 수 있습니다. 작년 한국 사용자들은 ‘영상 중심의 정보 소비’와 ‘AI 기술 활용’에 매우 적극적인 태도를 보이고 있습니다. 2025년 한국 인터넷 사이트 접속 순위 25년 12월 기준 인터넷 사이트 접속 랭킹입니다. 순위 웹사이트 성격 및 특징 … Read more