Baru sahaja berpindah ke “rumah baru” sudah dapat satu lagi problem. Problemnya ialah post blog tidak diindeks oleh Google. Kalau post blog ni tidak dindeks oleh Google, macammana orang nak jumpa kan? Maka, sekarang ni tuan blog sibuk mencari penyelesaian.
Mula sedar yang blog ini tidak dikenal google apabila check trafik blog ni hanya datang dari referral hasil daripada commenting di blog kawan-kawan dan twitter sahaja, bukannya search engine. Untuk troubleshoot maka blog ni terus sahaja didaftarkan di Google Webmaster Tool. Rupa-rupanya ada masalah pada crawler. Setiap post yang dibuat tidak dapat di ‘crawl’ oleh Googlebot (google crawler).
Apabila check di Diagnostic>Crawl Error , keluar message ni.
URL restricted by robots.txt
Tak pernah dengar pun pasal robots.txt. Tapi nampak gaya powerlah file robots.txt ni boleh block — block pulak.
Menggunakan webmaster tool lagi, apabila check di site configuration > crawler access, didapati content robots.txt macam ni:
User-agent: *
Disallow: /
Apa lagi, kalau ada masalah macam ni terus jer bertanya di twitter. Terima kasih kepada @mrkay2911. Mengikut beliau ada error sikit pasal google dengan wordpress ni.
Sekarang ni http://zulseffort.com dah dipadam dan didaftar balik di Google Webmaster Tool seperti yang dinasihatkan oleh beliau.
Robots.txt pun dah diubah untuk enable GoogleBot. Saya guna wordpress plugin PC robots.txt.
Harap-harap menjadi 
Parah juga kalau tak jadi ni, jadi blog syok sendiri pulak nanti. Sendiri tulis sendiri baca.
Hrm.. Kawan-kawan pernah terkena dengan masalah ini?
—————
zulseffort — setahun jagung dalam ilmu godek blog
eh. semua wordpress blog camni ke?
bukan ke dalam setting boleh tukar “allow my blog to be searchable .. bla bla. ”
bukan kalau buat tu dah ok ke?
ariff´s last blog ..Fasha Sandha Kenapa Kau Dibenci?
ntah lah.. memang dah tukar setting tu.. agaknya mungkin certain version ada problem. pakai version 2.9.1 ni
aku rasa masalah masa mula2 install dulu rasanya,.
ko tak tick pada enable to google and technocrati..
tak silap aku laa..
biasanya kalo tick tu ok jer..
Jaws´s last blog ..Malas
eh ye ke? hoh.. tak ingat dah waktu buat tu tick ke tidak…
Memang boleh blok pun. Tujuan robot.txt tu pada asalnya untuk blok crawler yang jahat, contohnya spambot.
Dr House´s last blog ..House MD musim 6 episod 11
owhh.. begitu ceritanya…
.. terima kasih daun keladi
aku pon xtau ape itu robot…stiap WP ader robot ker???hehehe..ape yg robot nih blh lakukan??
apiih´s last blog ..10 Kelebihan Lelaki tiada kekasih
robot ni boleh blok crawler jahat, bak kat @inertz
sama la nasib kita.. mmg tak di indekskan dalam google pon. adoi.. apa macam ni. tak buat lagi pon.
Luth Textile´s last blog ..Cilaka laknat punya Melayu! Daulat Tuanku!
sekarang ni blog ni dah diindeks google, tu pun lepas edit robots.txt.
aku pn pening gak dengan robot.txt ni.. dulu penah gak jadi kt blog aku.. selidik pnye selidik, kaji pnye kaji, rupanye robot.txt ni gunanya untuk membenarkan crawler merayap ke blog kita untuk kutip data..
kalau ada mane2 directory dlm server kite yg kite taknak crawler tu masuk, kita bleh halang crawler tu menggunakan robot.txt.. (kalau tak silap aku laa)
Anarm´s last blog ..Tips Blog Berjaya Pada Tahun 2010
sama la kita , sama-sama pening… tapi berbaloi gak, dapat tau pasal cara nak godek robot.
erm..aku punya dah ok kot..
nway. kat blog header tu buleh letak
meta name=“robots” content=“index,follow“
mr.eims @ perfume´s last blog ..Calvin Klein Euphoria Valentine Set gift for romantic couple
hrm.. klau dah ok tu kira powerlah tu..
.. oh boleh letak macam tu ye.. hrm terima kasih berkongsi info