사이트를 운영하다보면 가장 짜증 나는 것이 불법 크롤러 봇이다. 요즘 이런 크롤러들은 IP를 수없이 바꿔가며 초당 수백번씩 들어오고, 유저에이전트 등의 정보를 일반 사용자처럼 꾸며서 차단하기에 성가시다.
그나마 클라우드 플레어를 쓰면 간단하게 처리가 가능하다. (무료 사용자도 가능.) 여러 방법이 있을 수 있는데, 여러 사이트에 적용해 봤을 때 가장 간단하면서 강력했던 설정은 다음과 같다.
- 클라우드 플레어 > 해당 도메인 > 보안 > ‘보안 규칙’ 메뉴에 들어간다.
- ‘+ 규칙생성’ 버튼을 눌러 ‘사용자 지정 규칙’을 생성한다.
- 아래 스크린샷 같이 설정해주고 저장하여 활성화 한다.
이 규칙은 한국 사용자나 구글, 네이버 등 정상적인 봇에는 변화가 없으며, 해외 사용자의 경우 클라우드 플레어의 판단에 따라 “나는 봇이 아닙니다” 챌린지를 시키거나 자바스크립트/쿠키등으로 체크를 하는 등 확인 절차를 거친다.
따라서 해외 IP를 계속 바꿔가며 들어오는 크롤러봇은 거의 차단할 수 있다. 아직까지 이걸 뚫고 들어오는 해외 크롤러 봇은 없었다.
단, 국내 사용자가 서비스 대상인 사이트에만 권한다. 해외 접속자를 불편하게 할 가능성이 있기 때문. 그리고 클라우드플레어의 ‘국가’ 판단이 부정확할 경우도 있기 때문에 일부 국내 사용자도 불편을 겪을 수 있다. 하지만 챌린지를 통과하면 접속이 불가능한 것은 아니다.
+덧. 적용 후 방문자 숫자가 크게 떨어졌다면, 클라우드 플레어 대시보드의 보안 > Analytics 에서 관리 챌린지 횟수와 바이패스 숫자 비율을 확인해보자. 바이패스 비율이 극히 낮다면 차단된 대부분이 봇인 것이고, 높다면 사람들이 차단되고 있을 수 있어 필터 규칙과 동작을 조정할 필요가 있다. (물론 바이패스한 숫자가 사람이 아니라 클라우드 플레어의 챌린지 까지 통과하는 고성능 봇일 수도 있다…)