Cara Membatasi Rate Crawl Google-bot
Terkadang pada layanan shared hosting sering ditemui website yang mengalami limit resource, kendala ini ada beberapa penyebabnya untuk salah satunya adalah proses crawl google-bot yang terlalu sering. Bahkan proses crawl google-bot yang terlalu sering bisa menyebabkan bandwith hosting terpakai habis karena google-bot akan melakukan crawling seluruh bagian pada website termasuk gambar, dan halamannya. Untuk menghindari… Read More »