Robot yang satu ini bukanlah robot yang dapat bergerak dengan sendirinya dengan menggunakan mesin tapi robot ini adalah file yang diperlukan oleh sebuah blog atau web agar bisa terindeks dengan cepat oleh search engine. Namanya adalah Robots.txt. Dengan adanya robot txt mesin pencari seperti Google akan lebih mudah untuk mengindeks blog atau web sobat. Robots .txt juga merupakan informasi bagi mesin pencari mengenai directry mana yang boleh diakses dan yang tidak. Selain itu, dengan membuat Robots.txt di wordpress pada khususnya, sobat bisa memblock search engine agar tidak mengakses blog atau situs sobat bloggers.
Membuat Robots.txt di wordpress dengan self hosting tidaklah begitu susah. Sobat bloggers bisa membuat robots.txt dengan sebuah text editor misalnya notepad. Setelah itu disimpan dengan ekstensi.txt, file robots.txt tersebut kemudian harus di upload ke directory public_html pada webhosting. Namun, cara membuat robots.txt dengan notepad dan menguploadnya sendiri ke web hosting cukup sulit dilakukan oleh sebagian orang. Untuk itu, agar lebih mudah dalam membuat robots.txt, sobat bisa menggunakan sebuah plugin wordpress. Nama plugin tersebut adalah KB Robots.txt.
Untuk membuat robots.txt di wordpress yang pertama kali sobat lakukan adalah harus menginstall plugin KB Robots.txt terlebih dahulu. Berikut cara installnya:
- Pada dashboard blog, sobat klik Plugins >> Add New Plugins
- Di kotak pencarian plugins, ketik KB Robots.txt dan klik search
- Kemudian Klik Install pada KB Robots.txt yang muncul pada halaman hasil pencarian tadi.
- Klik Install Now pada jendela instalasi yang muncul.
- Setelah selesai menginstall plugin, Klik tulisan Activate Plugins untuk mengaktifkan plugin.
Proses Instalasi Plugins KB Robots.txt telah selesai. Kini saatnya sobat memasukkan kode robots.txt melalui setting plugin tersebut. Untuk itu mari sobat ikuti langkah-langkah berikut ini:
- Masih pada dashboard blog, klik menu setting >> KB Robots.txt.
- Selanjutnya, ketik kode berikut pada editor yang ada pada jendela setting:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://webschool.tas-wanita-branded.com/sitemap.xml
Untuk sitemap sengaja saya gunakan http://webschool.tas-wanita-branded.com kaena blog ini yang
memakai fasilitas dari wordpress.org. Silahkan sobat ganti dengan sitemap blog atau web sobat.
Misalnya http://namadomain.com/sitemap.xml.
3. Terakhir klik tombol Submit untuk menyimpan robots.txt sobat.
Demikian postingan saya kali ini tentang membuat robots.txt di wordpress dengan menggunakan plugin wordpress KB Robots.txt. Semoga artikel ini bermanfaat buat sobat blogger semua. Jika sobat bloggers mempunyai kritik dan saran yang membangun, harap tulis saja komentar pada kotak komentar yang ada dbawah ini.
