Ini bahan yang benar-benar – benar-benar jarang dibutuhkan. ? Kebetulan saya sedang ada keperluan menghapus seluruh indeks satu blog dari search engine (Google terutama, yang lainnya bonus).
Karena masih pada proses migrasi konten secara bertahap jadi tak dapat dimatikan seperti itu saja, akhirnya ambil jalan tengah menginstruksikan mesin pencari agar membuang hasil telusurnya dikala update berikut.
Bagaimana caranya? Dapat gunakan meta tag atau response header dengan informasi noindex, tapi karena saya malas mengedit – modifikasi kedua hal itu akhirnya saya gunakan yang termudah, yakni modifikasi robots.txt dan memblokir seluruh akses bot search engine.
User-agent: *
Disallow: /Telah itu saja, nanti dikala bot datang lagi dan menemukan update baru dari filenya karenanya (untuk bot yang benar) akan menaatinya. Pelan – pelan nanti indeksnya akan hilang dari hasil pencarian. Biasanya pada 1-2 minggu totalnya.
Sumber https://servernesia.com