Mungkin catatan kecil ini berguna untuk para blogger yang ingin mengaftifkan robot txt dan robot khusus untuk keperluan SEO.
Robot txt
Secara default, setiap blog yang menggunakan platform Blogger akan memiliki robots.txt seperti berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Kode diatas memiliki arti sebagai berikut :
Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah mengubahnya maka iklan yang ditayangkan tidak akan menyesuaikan dengan konten Anda.
Baris berikutnya adalah untuk semua robot yang ditandai dengan tanda bintang (*). Pada konfigurasi defaultnya jelas terlihat bahwa label dari blog kita sudah disetting untuk tidak terindeks dengan menulis Disallow: /search.
Perlu di ingat bahwa tanda garis miring (/) di ibaratkan sebagai homepage Anda, jadi misal Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini Disallow: / karena itu sama saja Anda tidak memperbolehkan robot menelusuri blog Anda tapi menjadi seperti contoh di bawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Dengan konfigurasi seperti di atas maka semua artikel dan label akan terindeks. Dan untuk memblok robot di halaman tertentu cukup menulis seperti berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Untuk memecahkan masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Tag Hrader Robot Khusus
1. Login ke akun blogger
2. Masuk ke Setelan>Preferensi Penelusuran (jika dashboard Anda menggunakan bahasa Indonesia)
Centang :
Beranda : All dan Noarchive
Laman Arsip Dan Penelusuran : Noarchive, Noindex dan Nosnippet
Default Untuk Post Dan Laman : All
| Direktif | Penjelasan |
|---|---|
all | Tidak ada batasan untuk mengindeks atau melayani. Catatan: Direktif ini adalah nilai default dan tidak berpengaruh jika secara eksplisit terdaftar. |
noindex | Jangan tampilkan halaman ini di hasil pencarian dan tidak menunjukkan "Cached" link dalam hasil pencarian. |
nofollow | Jangan ikuti link di halaman ini. |
none | Sama dengan tag noindex, nofollow |
noarchive | Tidak menunjukkan "Cached" link dalam hasil pencarian. |
nosnippet | Jangan tampilkan potongan dalam hasil pencarian untuk halaman ini. |
noodp | Jangan menggunakan metadata dari Open Directory project untuk judul atau potongan ditampilkan untuk halaman ini. |
notranslate | Jangan menawarkan terjemahan dari halaman ini dalam hasil pencarian. |
noimageindex | Jangan indeks gambar di halaman ini. |
unavailable_after: [RFC-850 date/time] | Jangan tampilkan halaman ini dalam hasil pencarian setelah tanggal yang ditentukan / waktu. Tanggal / waktu harus ditentukan dalam RFC 850 format. |
Demikian sekilas info
Sumber referensi :
http://www.danlogs.com/cara-setting-robotstxt
Mungkin catatan kecil ini berguna untuk para blogger yang ingin mengaftifkan robot txt dan robot khusus untuk keperluan SEO. Robot txt S...
