Mungkin catatan kecil ini berguna untuk para blogger yang ingin mengaftifkan robot txt dan robot khusus untuk keperluan SEO.

Robot txt
Secara default, setiap blog yang menggunakan platform Blogger akan memiliki robots.txt seperti berikut:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Kode diatas memiliki arti sebagai berikut :
Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah mengubahnya maka iklan yang ditayangkan tidak akan menyesuaikan dengan konten Anda.

Baris berikutnya adalah untuk semua robot yang ditandai dengan tanda bintang (*). Pada konfigurasi defaultnya jelas terlihat bahwa label dari blog kita sudah disetting untuk tidak terindeks dengan menulis Disallow: /search.

Perlu di ingat bahwa tanda garis miring (/) di ibaratkan sebagai homepage Anda, jadi misal Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini Disallow: / karena itu sama saja Anda tidak memperbolehkan robot menelusuri blog Anda tapi menjadi seperti contoh di bawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblok robot di halaman tertentu cukup menulis seperti berikut:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated

Tag Hrader Robot Khusus


1. Login ke akun blogger
2. Masuk ke Setelan>Preferensi Penelusuran (jika dashboard Anda menggunakan bahasa Indonesia)

Centang :
Beranda : All dan Noarchive
Laman Arsip Dan Penelusuran : Noarchive, Noindex dan Nosnippet
Default Untuk Post Dan Laman : All

Direktif	Penjelasan
all	Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar.
noindex	Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian.
nofollow	Jangan ikuti link di halaman ini.
none	Sama dengan tag noindex, nofollow
noarchive	Tidak menunjukkan "Cached" link dalam hasil pencarian.
nosnippet	Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini.
noodp	Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini.
notranslate	Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian.
noimageindex	Jangan indeks gambar di halaman ini.
unavailable_after: [RFC-850 date/time]	Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format.

Demikian sekilas info

Sumber referensi :
http://www.danlogs.com/cara-setting-robotstxt