Setting Robot.txt yang Benar Untuk Blog ( SEO )

Akhir - akhir ini saya sedang sedikit dipusingkan dengan Notifikasi adanya Duplicate Content yang dideteksi Oleh Google Webmaster. Dalam SEO Blogger Tentuunya Duplicate Content adalah sesuatu yang sangat tidak saya harapkan :( Karena Mesin Pencari juga sangat tidak suka dengan Duplicate Content.

Ketika saya membuka Google Webmaster, saya menemukan beberapa Halaman Blog saya yang dideteksi Duplicate Meta Descriptions.

Ternyata yang terdeteksi sebagai Duplicate Meta Descriptions adalah "Laman" dan Halaman dengan Rel "?showComment=". Yang pertama disebabkan karena saya tidak mensetting Meta Description untuk Laman dan yang Kedua disebabkan karena Google juga mengindex Halaman dengan Rel "?showComment=", dan menterjemahkannya sebagai dua Halaman yang berbeda. Saya sbenarnya memang tidak berniat untuk Google dapat mengindex Laman - laman dan Halaman Komentar tersebut, lalu apa yang saya lakukan? Walaupun Temen - temen blogger belum mengalami Hal seperti ini sebaiknya lebih baik melakukan Antisipasi terlebih dahulu, juga dengan mengikuti Langkah - langkah menambahkan Setting Robot.txt yang benar berikut ini.

Menambahkan Setting Robot.txt yang Benar

Yang perlu kita lakukan adalah menambahkan Setting Robot.txt yang benar agar Google tidak mengindex Halaman yang tidak perlu, sehingga tidak akan terjadi Duplicate Content. Caranya sangat Gampang, :

1. Login ke Blogger  >> Langsung Menuju ke Dashboard Blog kamu.
2. Pilih Menu Setelan >> Preferensi Penelusuran .
3. Lalu pada Menu "robot.txt khusus" >> Klik Edit.
4. Aktifkan konten robot.txt khusus? >> Pilih Ya.
5. Ganti kode yang ada dengan Kode di bawah ini :
   

   User-agent: Mediapartners-Google
   User-agent: *
   Disallow: /search?q=*
   Disallow: /*?updated-max=*
   Disallow: /*?showComment=*
   Allow: /
   Sitemap: http://www.caraseoblogger.com/atom.xml?redirect=false&start-index=1&max-results=500

6. Ganti URL Blog saya dengan URL Blog kamu.
7. Klik Simpan Perubahan dan Selesai.

Maksud / Arti kode Robot.txt di atas adalah...

Saya akan menjelaskan beberapa yang penting saja, dalam kasus Duplicate Content :

• Disallow: /search?q=* Memberikan perintah kepada "Search Engine Crawler" untuk tidak mengindex / melakukan Crawl pada halaman Search.
• Disallow: /*?updated-max=* Memberikan perintah kepada "Search Engine Crawler" untuk tidak mengindex / melakukan Crawl pada Halaman Navigasi atau Label.
• Disallow: /*?showComment=* Memberikan perintah kepada "Search Engine Crawler" untuk tidak mengindex / melakukan Crawl pada Halaman Komentar seperti Kasus yang yang saya alami.

Sekian, Postingan Mas Galih mengenai Setting Robot.txt yang Benar Untuk Blog, Semoga Temen - temen Blogger bisa mengantisipasi Duplicate Content dengan apa yang sudah saya sampaikan ini, Semoga Bermanfaat.