Menghentikan Bot Mesin Pencari (Search Engine) Melalui Robots.txt

By | January 17, 2019
0 Comment

Agar situs situs Kamu dapat ditemukan orang lain di mesin pencari, perayap mesin pencari (biasanya disebut bot atau spider) akan merayapi situs situs Kamu bagi mencari teks dan tautan yang diperbarui. Apabila ditemukan, mesin pencari akan memperbarui index pencarian mereka.

Beberapa kasus, bot/spider jahat terlalu banyak merayap situs situs, sehingga menghabiskan resource hosting server.

Hal ini dapat diatasi dengan memblok atau menghentikan bot search engine dengan file robots.txt, agar tak merayapi situs situs.

A. User-agents mesin pencari

Aturan sangat umum yang digunakan pada file robots.txt didasarkan di User-agents dari perayap mesin pencari.

Perayap mesin pencari menggunakan User-agents bagi mengidentifikasi diri mereka dikala merayapi situs. Berikut beberapa contoh:

Top 3 User-agents mesin pencari US

Googlebot
Yahoo!
Slurp bingbot

User-agents sangat umum diblok

AhrefsBot
Baiduspider
Ezooms
MJ12bot
YandexBot

B. Mengizinkan mesin pencari merayapi situs

Berikut cara mengatur file robots.txt dengan dua aturan sederhana.

#Aturan pertama-tama
User-agent: Googlebot
Disallow: /nogooglebot/

#Aturan kedua
User-agent: *
Allow: /

Keterangan:

  1. Aturan pertama-tama, User-agents Googlebot (Google) dapat merayapi seluruh direktori, kecuali /nogooglebot/
  2. Atura kedua, seluruh User-agents dapat merayapi seluruh direktori. Karena diallow (Allow: /)
  3. User-agents dapat Kamu isi * (seluruh bot mesin pencari) atau diisi bot mesin pencari tertentu.

C. Menghentikan mesin pencari merayapi situs

User-agent: Googlebot
Disallow: /

User-agent: *
Disallow: /

Keterangan:

  1. User-agents: Googlebot tak diizinkan merayapi seluruh direktori situs situs.
  2. Segala User-agents tak diizinkan merayapi seluruh direktori

D. Merancang file robots.txt dan memasangnya

  1. Bikin file robots.txt didirektori situs Kamu.
  2. Masukan rule User-agents sesuai yang Kamu butuhkan, kemudian simpan
  3. Setelah itu, akses http://namawebsite/robots.txt . Apabila dapat tampi, berarti pemasangannya telah berhasil.
Menghentikan Bot Mesin Pencari (Search Engine) Melalui Robots.txt
Menghentikan Bot Mesin Pencari (Search Engine) Melalui Robots.txt

Demikian cara menghentikan perayapan oleh mesin pencari, semoga bermanfaat.


Sumber https://www.rumahweb.com