Fungsi dari Robot.txt Pada Sebuah Blog
Tips Blogger
Indzgn - Robot.txt pada sebuah blogger sangatlah penting. Mengapa? hal ini berguna untuk membantu perayapan dan pengindex'an blog di Search Engine.
Secara sederhana, Robot.txt ini merupakan sebuah konvensi untuk memerintah robot mesin pencari atau web crawler atau juga dapat mencegah sebuah halaman untuk diindex.
Contohnya, kamu tidak ingin halaman tertentu pada blog yang kamu kelola tidak ingin ditampilkan pada mesin pencari. Dengan Robot.txt inilah kita bisa memanfaatkannya agar dapat memblokir halaman tersebut.
Sebenarnya semua blogspot yang diberikan oleh Blogger sudah tersedia fitur Robot.txt ini. Secara default, susunan kode Robot.txt seperti di bawah ini.
HTML
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://indzgn.blogspot.com/sitemap.xml
Mungkin kamu bingung apa arti dari semua kode di atas. Baiklah, saya akan menjelaskannya satu persatu. Silahkan disimak.
| Keterangan : | |||
|---|---|---|---|
| User-agent: Mediapartners-Google | User agent milik Google menandakan bahwa blog ini adalah milik Google | ||
| Disallow | Tidak diperbolehkan tidak ada | ||
| User-agent: * | Semua Robot Search Engine | ||
| Disallow: /search | Tidak diperbolehkan merayapi folder search dan seterusnya | ||
| Allow: / | Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow. | ||
| Sitemap: http://indzgn.blogspot.com/sitemap.xml | Alamat feed blog/sitemap blog kamu | ||
Oke, itu tadi sedikit pengertian tentang Fungsi dari Robot.txt Pada Sebuah Blog. Semoga bermanfaat untuk kamu. Terimakasih,
