Kita tahu bahwa google menambahkan fasilitas robots.txt dan Custom Robot Header Tags pada blogger, sebagai salah satu fitur SEO bagi para pengguna blogspot. Tujuannya agar para blogger lebih mudah untuk mengatur sistem perayapan yang diinginkan dari mesin pencari untuk blog miliknya, fitur ini memungkinkan para blogger yang menggunakan blogspot untuk mengatur tag robot header tidak lagi melalui template dan cukup melalui settingan pada dashboard.

Robots.txt dan Custom Robot Header Tags secara umum berfungsi untuk memberikan informasi kepada mesin pencari, tentang bagian mana saja dari blog kita yang boleh dirayapi dan bagian mana saja yang tidak boleh dirayapi. Fitur ini tentu saja membantu supaya blog kita dapat dirayapi secara maksimal dengan sistem perayapan yang lebih terarah.

Fungsi robots.txt dan Custom Robot Header Tags biasanya selalu digunakan oleh para webmaster atau seomaster yang memiliki website dengan konten yang niche atau lebih fokus dengan salah satu konten saja. Sehingga mesin pencari dapat menjelajahi dan mengindeks websitenya secara maksimal.

Namun bagimana dengan blogger yang memiliki banyak konten?
Ini hanya sekedar share pengalaman pribadi aja ya.. :)

Sebagai blogger saya memiliki sebuah blog yang berisi berbagai konten bahasan, tidak hanya terfokus pada satu konten, bahkan konten-konten hasil contekan juga ada barang satu atau dua biji.. :) walupun sekarang sudah dihapus. Dan yang saya inginkan adalah mesin pencari mengindeks apapun yang ada di blog saya, termasuk komentar pembaca, kalau itu bermanfaat buat pembaca silahkan saja dirayapi atau di indeks.

Setahu saya, algoritma pencarian tiap mesin pencari itu berbeda, saya lihat contohnya google dan yahoo. Google merayapi semua bagian kata atau kalimat dari sebuah website yang berhubungan dengan pencarian seseorang makanya disebut mesin pencari, sementara yahoo lebih menitik beratkan pencarian pada konten yang dianggap relevan menurut pikiran yahoo untuk orang yang melakukan pencarian makanya sering disebut portal online.

Menurut saya, jika kita membatasi atau mengarahkan mesin pencari untuk merayapi blog kita dengan robots.txt dan Custom Robot Header Tags, maka hanya bagian-bagian tertentu saja yang dapat di crawl oleh mesin pencari, dan bagian-bagian lainnya diabaikan. Dengan kata lain, jika pengunjung memasukkan sebuah kata kunci, maka mesin pencari hanya akan mengindeks bagian blog kita yang berhubungan dengan kata kunci tersebut, sementara konten lain yang mendekati kata kunci akan diabaikan.

Saya melakukan tes untuk blog saya selama beberapa hari dengan mengatur setting robots.txt dan Custom Robot Header Tags, anda bisa melihat pengaturan setting robots.txt di halaman berikut dan Custom Robot Header Tags di halaman berikut. Hasilnya trafik blog saya cenderung menurun, namun kata kunci yang masuk memang benar-benar terarah. Maka saya mengambil kesimpulan bahwa pengaturan robots.txt dan Custom Robot Header Tags adalah lebih mengarahkan pencarian mesin pencari supaya supaya menampilkan konten yang lebih relevan pada blog kita. Efek sampingnya, trafik menurun :)

Jadi pengaturan robots.txt dan Custom Robot Header Tags kembali lagi pada pemilik blog, apakah ingin trafik yang bagus, atau ingin memberikan pencarian yang lebih relevan, silahkan pilih sendiri.

Read more…

Pengaturan Custom robots Header Tags Pada Blogger merupakan hal yang cukup penting yang memberi dampak SEO pada blog kita. Baru-baru ini Blogger terus mengembangkan fitur-fitur baru yang di antaranya sangat berkaitan dengan SEO. Dengan kata lain, Blogger sudah mulai memberi perhatian lebih untuk para penggunanya mengenai masalah SEO.

Custom robots Header Tags merupakan teknik SEO yang dapat membantu kita untuk memaksimalkan kinerja blog di search enggine. Tujuan utama pengaturan Custom robots header tags sebenarnya merupakan perintah kepada robot search engine, yang memberikan informasi konten blog kita yang bisa di-crawl atau dirayapi dan yang tidak boleh dirayapi. Dengan melakukan pengaturan pada Custom robots Header Tags, perayapan Search engine pada blog kita akan menjadi teratur sesuai dengan ijin akses yang diberikan pemilik blog.

Sebelum ada fungsi default pada antar muka blogger yang baru, pengaturan Custom robots Header Tags dilakukan dengan menempatkan perintah pada bagian head template blog kita. Namun dengan fasilitas yang baru ini, blogger bisa melakukan pengaturan Custom robots Header Tags melalui menu dashboard tanpa harus mengetikan perintah pada template.

Jika anda telah melakukan pengaturan Custom robots Header Tags pada template blog, pengaturan pada dashboard tidak perlu dilakukan, sebab hal ini memungkinkan bisa terjadinya perintah ganda pada robot search enggina, namun jika anda belum melakukannya anda bisa mengikuti langkah-langkah berikut;


Pertama; Silahkan login ke blogger
Kedua; Pilih menu settings atau setelan
Ketiga; Pilih preferensi penelusuran atau search preferences

Keempat; pada Crawlers and indexing pilih Edit
Kelima; Lakukan pengaturan, anda bisa mengikuti yang saya lakukan seperti pada gambar;

Terakhir, klik save atau simpan pengaturan. Dengan langkah seperti ini, maka kita telah melakukan pengaturan pada Custom robots Header Tags melalui dashboard blog kita.

Read more…