Cara Blokir Bot/Crawler Pinterest (atau Bot Lainnya) dengan Nginx Deny

Memblokir akses crawler atau bot pinterest (dan bot search engine apapun) bisa dilakukan dengan mudah jika anda menggunakan webserver Nginx. Caranya yaitu cukup dengan membuat sebuah file yg disimpan di dalam direktori /etc/nginx/conf.d

Supaya dapat efektif dibaca oleh Nginx, file konfigurasi ini harus file yg berekstensi .conf.

1. 1. 1. cd /etc/nginx/conf.d
      2. vim blockpinterest.conf
      3. Kita hanya harus tau ip range dari bot yg ingin diblokir, misalnya sih kalo Pinterest dia pake 54.236.1.0/24 (ip ini bisa saja berganti atau bertambah dengan blok ip baru dst, maka sering-seringlah googling ya). Jadi setelah file editor terbuka, isikan atau copy dan paste ini:

         deny 54.236.1.0/24;

      4. Save
      5. Biasakan test dahulu ya supaya tidak terjadi error nginx -t
      6. Kalau OK maka lanjutkan dengan systemctl restart nginx

Hasilnya pinterest tidak akan dapat crawling web anda. Dan kalau dicoba misal pin sebuah gambar dari web anda ke pinterest maka akan gagal.

Pada dasarnya bot apapun dapat diblokir supaya tidak dapat mengakses server, intinya cuma perlu tahu ip range yg digunakan oleh server bot tsb dan ini bisa dengan mudah dicari infonya. Bisa juga bot diblokir berdasarkan identitas user-agent yg digunakan, nah untuk yg ini nanti konfigurasinya bisa masuk ke serverblock domain yg ada dalam nginx.