Baru sahaja berpindah ke “rumah baru” sudah dapat satu lagi problem. Problemnya ialah post blog tidak diindeks oleh Google. Kalau post blog ni tidak dindeks oleh Google, macammana orang nak jumpa kan? Maka, sekarang ni tuan blog sibuk mencari penyelesaian.
Mula sedar yang blog ini tidak dikenal google apabila check trafik blog ni hanya datang dari referral hasil daripada commenting di blog kawan-kawan dan twitter sahaja, bukannya search engine. Untuk troubleshoot maka blog ni terus sahaja didaftarkan di Google Webmaster Tool. Rupa-rupanya ada masalah pada crawler. Setiap post yang dibuat tidak dapat di ‘crawl’ oleh Googlebot (google crawler).
Apabila check di Diagnostic>Crawl Error , keluar message ni.
URL restricted by robots.txt
Tak pernah dengar pun pasal robots.txt. Tapi nampak gaya powerlah file robots.txt ni boleh block – block pulak.