Setting robots.txt dan Custom Robot Header Tags Blogger Aktifkan atau Nonaktifkan ?

Kita tahu bahwa google menambahkan fasilitas robots.txt dan Custom Robot Header Tags pada blogger, sebagai salah satu fitur SEO bagi para pengguna blogspot. Tujuannya agar para blogger lebih mudah untuk mengatur sistem perayapan yang diinginkan dari mesin pencari untuk blog miliknya, fitur ini memungkinkan para blogger yang menggunakan blogspot untuk mengatur tag robot header tidak lagi melalui template dan cukup melalui settingan pada dashboard.

Robots.txt dan Custom Robot Header Tags secara umum berfungsi untuk memberikan informasi kepada mesin pencari, tentang bagian mana saja dari blog kita yang boleh dirayapi dan bagian mana saja yang tidak boleh dirayapi. Fitur ini tentu saja membantu supaya blog kita dapat dirayapi secara maksimal dengan sistem perayapan yang lebih terarah.

Fungsi robots.txt dan Custom Robot Header Tags biasanya selalu digunakan oleh para webmaster atau seomaster yang memiliki website dengan konten yang niche atau lebih fokus dengan salah satu konten saja. Sehingga mesin pencari dapat menjelajahi dan mengindeks websitenya secara maksimal.

Namun bagimana dengan blogger yang memiliki banyak konten?
Ini hanya sekedar share pengalaman pribadi aja ya.. :)

Sebagai blogger saya memiliki sebuah blog yang berisi berbagai konten bahasan, tidak hanya terfokus pada satu konten, bahkan konten-konten hasil contekan juga ada barang satu atau dua biji.. :) walupun sekarang sudah dihapus. Dan yang saya inginkan adalah mesin pencari mengindeks apapun yang ada di blog saya, termasuk komentar pembaca, kalau itu bermanfaat buat pembaca silahkan saja dirayapi atau di indeks.

Setahu saya, algoritma pencarian tiap mesin pencari itu berbeda, saya lihat contohnya google dan yahoo. Google merayapi semua bagian kata atau kalimat dari sebuah website yang berhubungan dengan pencarian seseorang makanya disebut mesin pencari, sementara yahoo lebih menitik beratkan pencarian pada konten yang dianggap relevan menurut pikiran yahoo untuk orang yang melakukan pencarian makanya sering disebut portal online.

Menurut saya, jika kita membatasi atau mengarahkan mesin pencari untuk merayapi blog kita dengan robots.txt dan Custom Robot Header Tags, maka hanya bagian-bagian tertentu saja yang dapat di crawl oleh mesin pencari, dan bagian-bagian lainnya diabaikan. Dengan kata lain, jika pengunjung memasukkan sebuah kata kunci, maka mesin pencari hanya akan mengindeks bagian blog kita yang berhubungan dengan kata kunci tersebut, sementara konten lain yang mendekati kata kunci akan diabaikan.

Saya melakukan tes untuk blog saya selama beberapa hari dengan mengatur setting robots.txt dan Custom Robot Header Tags, anda bisa melihat pengaturan setting robots.txt di halaman berikut dan Custom Robot Header Tags di halaman berikut. Hasilnya trafik blog saya cenderung menurun, namun kata kunci yang masuk memang benar-benar terarah. Maka saya mengambil kesimpulan bahwa pengaturan robots.txt dan Custom Robot Header Tags adalah lebih mengarahkan pencarian mesin pencari supaya supaya menampilkan konten yang lebih relevan pada blog kita. Efek sampingnya, trafik menurun :)

Jadi pengaturan robots.txt dan Custom Robot Header Tags kembali lagi pada pemilik blog, apakah ingin trafik yang bagus, atau ingin memberikan pencarian yang lebih relevan, silahkan pilih sendiri. (cakra)