Kita tahu bahwa google menambahkan fasilitas robots.txt dan Custom Robot Header Tags pada blogger, sebagai salah satu fitur SEO bagi para pengguna blogspot. Tujuannya agar para blogger lebih mudah untuk mengatur sistem perayapan yang diinginkan dari mesin pencari untuk blog miliknya, fitur ini memungkinkan para blogger yang menggunakan blogspot untuk mengatur tag robot header tidak lagi melalui template dan cukup melalui settingan pada dashboard.

Robots.txt dan Custom Robot Header Tags secara umum berfungsi untuk memberikan informasi kepada mesin pencari, tentang bagian mana saja dari blog kita yang boleh dirayapi dan bagian mana saja yang tidak boleh dirayapi. Fitur ini tentu saja membantu supaya blog kita dapat dirayapi secara maksimal dengan sistem perayapan yang lebih terarah.

Fungsi robots.txt dan Custom Robot Header Tags biasanya selalu digunakan oleh para webmaster atau seomaster yang memiliki website dengan konten yang niche atau lebih fokus dengan salah satu konten saja. Sehingga mesin pencari dapat menjelajahi dan mengindeks websitenya secara maksimal.

Namun bagimana dengan blogger yang memiliki banyak konten?
Ini hanya sekedar share pengalaman pribadi aja ya.. :)

Sebagai blogger saya memiliki sebuah blog yang berisi berbagai konten bahasan, tidak hanya terfokus pada satu konten, bahkan konten-konten hasil contekan juga ada barang satu atau dua biji.. :) walupun sekarang sudah dihapus. Dan yang saya inginkan adalah mesin pencari mengindeks apapun yang ada di blog saya, termasuk komentar pembaca, kalau itu bermanfaat buat pembaca silahkan saja dirayapi atau di indeks.

Setahu saya, algoritma pencarian tiap mesin pencari itu berbeda, saya lihat contohnya google dan yahoo. Google merayapi semua bagian kata atau kalimat dari sebuah website yang berhubungan dengan pencarian seseorang makanya disebut mesin pencari, sementara yahoo lebih menitik beratkan pencarian pada konten yang dianggap relevan menurut pikiran yahoo untuk orang yang melakukan pencarian makanya sering disebut portal online.

Menurut saya, jika kita membatasi atau mengarahkan mesin pencari untuk merayapi blog kita dengan robots.txt dan Custom Robot Header Tags, maka hanya bagian-bagian tertentu saja yang dapat di crawl oleh mesin pencari, dan bagian-bagian lainnya diabaikan. Dengan kata lain, jika pengunjung memasukkan sebuah kata kunci, maka mesin pencari hanya akan mengindeks bagian blog kita yang berhubungan dengan kata kunci tersebut, sementara konten lain yang mendekati kata kunci akan diabaikan.

Saya melakukan tes untuk blog saya selama beberapa hari dengan mengatur setting robots.txt dan Custom Robot Header Tags, anda bisa melihat pengaturan setting robots.txt di halaman berikut dan Custom Robot Header Tags di halaman berikut. Hasilnya trafik blog saya cenderung menurun, namun kata kunci yang masuk memang benar-benar terarah. Maka saya mengambil kesimpulan bahwa pengaturan robots.txt dan Custom Robot Header Tags adalah lebih mengarahkan pencarian mesin pencari supaya supaya menampilkan konten yang lebih relevan pada blog kita. Efek sampingnya, trafik menurun :)

Jadi pengaturan robots.txt dan Custom Robot Header Tags kembali lagi pada pemilik blog, apakah ingin trafik yang bagus, atau ingin memberikan pencarian yang lebih relevan, silahkan pilih sendiri.

Read more…

Pengaturan dan pengaktifan Custom robots.txt pada blogger, sangat umum dilakukan oleh para blogger. Pengaturan Custom robots.txt ini dilakukan dengan tujuan agar blog kita mudah dikenal oleh Robot search engine, sehingga akan membantu blog kita dapat cepat ter-index di search engine, walaupun pada dasarnya blog kita secara default terdaftar di search enggine google, namun pengaturan ini bisanya dilakukan agar mempercepat indeks.

Akan tetapi, kesalahan pengaturan dari Custom robots.txt bukannya mempercepat perayapan namun justru akan menyingkirkan blog kita dari daftar search enggine, sehingga blog kita tidak akan didatangi pengunjung karena memang tidak ada di search enggine. Oleh karena itu, seperti dalam pesan yang muncul pada dashboard blog, pengaturan yang bijak diperlukan untuk urusan ini.

Seberanya terdapat beberapa cara melakukan pengaturan Custom robots.txt, biasanya tergantung dari exsperimen atau pengalaman dari blogger masing-masing, namun ada cara yang secara umum dilakukan, dan saya pun melakukan cara yang umum saja :). Berikut langkah-langkah menurut pengalaman saya yang bisa anda simak:

1. Login ke blogger
2. Pilih menu setting => Search preferences
3. lihat ke menu Crawlers and indexing, klik edit pada Custom robots.txt

4. Isi pada kotak kosong dengan text berikut;
User-agent:Mediapartners-Google
Disallow:
User-agent:*
Disallow:/search
Allow:/
Sitemap:http://www.cakraspy.blogspot.com/feed/posts/default?orderby=UPDATED

Ganti www.cakraspy.blogspot.com dengan alamat blog/web anda.
Biasanya, setingan secara default muncul ketika kita mengaktifkan pengaturan custom robots.txt

5. Klik Save Changes, selesai.

Hati-hati, pengaturan Custom robots.txt yang baik dan benar akan membantu blog anda terindex dengan baik pula, namun penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur.

Read more…