11 May 2025

Home › Tutorial blog › Fungsi robots.txt dan Contoh Perintah yang Sering Digunakan untuk Optimasi SEO

Fungsi robots.txt dan Contoh Perintah yang Sering Digunakan untuk Optimasi SEO

Daftar Isi [Lihat]

Fungsi robots.txt dan Contoh Perintah yang Sering Digunakan untuk Optimasi SEO

robots.txt adalah salah satu file penting dalam pengelolaan website, khususnya dalam hal SEO (Search Engine Optimization). File ini berfungsi sebagai panduan bagi mesin pencari seperti Google, Bing, dan lainnya mengenai bagian mana dari situs web yang boleh dan tidak boleh mereka indeks.

Apa Itu robots.txt?

robots.txt adalah file teks standar yang diletakkan di direktori root situs web (misalnya: www.bloggerkauman.web.id/robots.txt). File ini menggunakan Robots Exclusion Protocol (REP) untuk mengarahkan aktivitas crawler atau bot mesin pencari.

File ini tidak mencegah akses pengguna manusia, melainkan hanya menjadi petunjuk untuk crawler agar tidak mengindeks halaman-halaman tertentu yang tidak relevan, bersifat pribadi, atau belum siap untuk ditampilkan di hasil pencarian.

Fungsi robots.txt dan Contoh Perintah yang Sering Digunakan untuk Optimasi SEO

Baca Juga • Arti Permalink: Pengertian, Fungsi, dan Pentingnya untuk SEO
• Cara penulisan pencekalan Disallow:/p
• Agar custom domain blogger bisa diakses tanpa WWW

Fungsi Utama File robots.txt

  • Mencegah Duplikat Konten
  • Mengoptimalkan Budget Crawler
  • Meningkatkan Keamanan Situs
  • Menghindari Indexing Halaman Uji Coba atau Draft

Contoh Perintah robots.txt yang Sering Digunakan

User-agent: *
Disallow:

Artinya: semua crawler diizinkan mengakses seluruh halaman situs.

User-agent: *
Disallow: /

Artinya: semua crawler dilarang mengakses halaman apa pun di situs.

User-agent: *
Disallow: /admin/

Artinya: crawler tidak boleh mengindeks direktori /admin/.

User-agent: *
Disallow: /private-data.html

Artinya: crawler tidak boleh mengindeks file private-data.html.

User-agent: Googlebot
Disallow:

Artinya: hanya Googlebot yang diizinkan mengakses semua halaman situs.

User-agent: Googlebot-Image
Disallow: /

Artinya: bot gambar Google tidak boleh mengindeks gambar dari situs ini.

Robots.txt di blogspot

Untuk blogspot, sobat bisa menggunakannya dengan cara tidak mengaktifkan opsi robots.txt tersebut, jadi biarkan nonaktif (dinonaktifkan).

Untuk melihatnya, sobat bisa dengan menuliskan /robots.txt dibelakang URL,

Contoh www.bloggerkauman.web.id/robots.txt

Lalu tekan enter, dan sobat akan melihat perintah tersebut walaupun sobat tidak mengaktifkan opsi robots.txt ini.

Tapi bila sobat menginginkan pencekalan yang lain, sobat bisa mengaktifkan opsi ini, kemudian menuliskan perintah seperti defaut lalu menambahkan beberapa baris perintah yang diinginkan.

Untuk mengaturnya di blogspot:
Setelan > Preferensi Penelusuran > Pilih robots.txt khusu

Seperti inilah, perintah umum dari robots.txt blogspot (default dari blogger) tersebut,

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search/
Allow: /

Sitemap: http://bloggerkauman.web.id/sitemap.xml

Perintah robots.txt di blogspot

Berikut ini penulis akan mencoba mengulas agar lebih jelas tentang arti dan beberapa perintah yang digunakan untuk penulisan robots.txt

User-agent:*
Nama bot yang dipanggil
Tanda * menandakan semua bot crawler

Disallow:
Tidak ada halaman yang dicekal

Disallow: /
Semua halaman dicekal
*bila terdapat nama path dibelakang / berarti kita melakukan pencekalan pada path tersebut, contoh
Disallow: /search
berarti kita melakukan pencekalan pada path search, atau dengan kata lain mesin pencari tidak diperbolehkan untuk merambani halaman yang dibelakang url nya bertuliskan /search seperti contoh http://bloggerkauman.web.id/search/label/Tutorial%20blog?max-results=4
Karena halaman tersebut tidak perlu untuk dirambani dan tidak perlu untuk dipublikasikan.

Akan tetapi bila menuliskan Disallow: / terus tanpa ditambahi nama path, maka kita telah mencekal semua halaman blog. (nah.. untuk apa kita mencekal semua halaman?)

Allow: /
Semua halaman diperbolehkan untuk dirambani, sama seperti Disallow:

Sitemap:
Alamat sitemap kita.

Masukkan alamat sitemap yang valid dan sama dengan alamat sitemap yang kita submit di google webmaster tools.

Selanjutnya, sobat bisa mencekal halaman yang lain seperti:
Disallow: /?m=0
Disallow: /?m=1
Disallow: /*archive.html

Disallow: /p/

Ada yang mau nambahi?
Silahkan tulis komentar dibawah..

Tips SEO Menggunakan robots.txt

  • Selalu uji file robots.txt menggunakan alat Google Search Console sebelum mengunggahnya.
  • Jangan gunakan robots.txt untuk menyembunyikan konten yang melanggar kebijakan atau spam.
  • Gunakan tag <meta name="robots" content="noindex"> di halaman HTML jika ingin memastikan tidak diindeks.

Kesimpulan

File robots.txt adalah alat vital dalam strategi SEO teknis. Dengan memahaminya, Anda dapat mengarahkan bot mesin pencari untuk memprioritaskan konten penting, meningkatkan performa SEO, dan melindungi bagian sensitif dari situs web Anda.

Optimalkan file robots.txt secara berkala, terutama setelah menambahkan atau menghapus bagian situs, agar performa SEO tetap maksimal dan terarah.


Related Posts

No comments:

Leave a Comment