Cara mengaktifkan Custom robots.txt Pada Blogger

Pengaturan dan pengaktifan Custom robots.txt pada blogger, sangat umum dilakukan oleh para blogger. Pengaturan Custom robots.txt ini dilakukan dengan tujuan agar blog kita mudah dikenal oleh Robot search engine, sehingga akan membantu blog kita dapat cepat ter-index di search engine, walaupun pada dasarnya blog kita secara default terdaftar di search enggine google, namun pengaturan ini bisanya dilakukan agar mempercepat indeks.

Akan tetapi, kesalahan pengaturan dari Custom robots.txt bukannya mempercepat perayapan namun justru akan menyingkirkan blog kita dari daftar search enggine, sehingga blog kita tidak akan didatangi pengunjung karena memang tidak ada di search enggine. Oleh karena itu, seperti dalam pesan yang muncul pada dashboard blog, pengaturan yang bijak diperlukan untuk urusan ini.

Seberanya terdapat beberapa cara melakukan pengaturan Custom robots.txt, biasanya tergantung dari exsperimen atau pengalaman dari blogger masing-masing, namun ada cara yang secara umum dilakukan, dan saya pun melakukan cara yang umum saja :). Berikut langkah-langkah menurut pengalaman saya yang bisa anda simak:

1. Login ke blogger
2. Pilih menu setting => Search preferences
3. lihat ke menu Crawlers and indexing, klik edit pada Custom robots.txt
4. Isi pada kotak kosong dengan text berikut;
User-agent:Mediapartners-Google
Disallow:
User-agent:*
Disallow:/search
Allow:/
Sitemap:http://www.cakraspy.blogspot.com/feed/posts/default?orderby=UPDATED

Ganti www.cakraspy.blogspot.com dengan alamat blog/web anda.
Biasanya, setingan secara default muncul ketika kita mengaktifkan pengaturan custom robots.txt
5. Klik Save Changes, selesai.

Hati-hati, pengaturan Custom robots.txt yang baik dan benar akan membantu blog anda terindex dengan baik pula, namun penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur. (cakra)