Robot.txt adalah file teks yang berisi perintah atau instruksi yang diberikan pada mesin pencari atau robot dari search engine. Perintah-perintah pada robot.txt harus ditulis dengan benar dan sesuai dengan aturan agar dapat berfungsi dengan baik. Berikut ini adalah susunan perintah pada robot.txt:
User-agent
Perintah ini digunakan untuk menentukan mesin pencari mana yang akan diberikan perintah pada baris selanjutnya. User-agent dapat diisi dengan nama mesin pencari seperti Googlebot, Bingbot, atau Yahoo Slurp.
Disallow
Perintah ini digunakan untuk menentukan halaman-halaman yang tidak diizinkan diindeks oleh mesin pencari. Halaman-halaman yang tidak diizinkan dapat diisi dengan URL lengkap atau sebagian URL dari halaman tersebut. Perintah Disallow dapat ditulis beberapa kali untuk menentukan halaman-halaman yang berbeda.
Allow
Perintah ini digunakan untuk menentukan halaman-halaman yang diizinkan diindeks oleh mesin pencari. Perintah Allow biasanya digunakan untuk mengizinkan halaman yang sebelumnya ditolak oleh perintah Disallow.
Sitemap
Perintah ini digunakan untuk memberikan URL dari file sitemap yang berisi informasi tentang halaman-halaman pada website yang diizinkan diindeks oleh mesin pencari. URL file sitemap harus lengkap dan valid.
Crawl-delay
Perintah ini digunakan untuk menentukan jeda waktu antara pengindeksan halaman-halaman pada website. Jeda waktu ini ditulis dalam detik, dan dapat digunakan untuk mengurangi beban server pada website.
User-agent: *
Perintah ini digunakan untuk memberikan perintah pada semua mesin pencari atau robot yang mengakses website. Perintah yang ditulis pada baris selanjutnya akan diterapkan pada semua mesin pencari atau robot.
Itulah beberapa susunan perintah pada robot.txt yang perlu diperhatikan untuk membuat file robot.txt yang benar dan sesuai dengan aturan. Perintah-perintah tersebut dapat disesuaikan dengan kebutuhan dari website dan mesin pencari yang digunakan.
Mengenal Fungsi robot.txt
Robot.txt adalah sebuah file yang berfungsi untuk memberikan instruksi pada robot atau crawler dari search engine seperti Google, Yahoo, Bing, dan lain sebagainya, mengenai halaman-halaman yang diizinkan dan tidak diizinkan untuk diindeks. Berikut ini adalah beberapa fungsi dari robot.txt:
Menghindari Halaman Duplikat
Salah satu fungsi utama dari robot.txt adalah untuk menghindari duplikasi halaman. Hal ini terjadi ketika terdapat beberapa halaman yang sama atau hampir sama, tetapi dengan URL yang berbeda. Dengan mengizinkan robot untuk mengakses hanya satu halaman, maka dapat menghindari terjadinya duplikasi halaman di mesin pencari.
Melindungi Halaman Rahasia
Robot.txt juga digunakan untuk melindungi halaman-halaman rahasia yang tidak diinginkan muncul di mesin pencari. Contohnya, halaman login atau halaman admin yang hanya dapat diakses oleh orang tertentu. Dengan menolak akses robot pada halaman-halaman ini, maka dapat meningkatkan keamanan website.
Mengurangi Beban Server
Dalam beberapa kasus, pengindeksan mesin pencari pada halaman-halaman tertentu dapat membebani server. Dalam hal ini, robot.txt digunakan untuk menolak akses robot pada halaman yang tidak terlalu penting atau tidak perlu diindeks. Dengan demikian, dapat mengurangi beban server dan meningkatkan kinerja website.
Meningkatkan Kualitas Indeks
Dengan memberikan instruksi pada robot tentang halaman-halaman yang penting untuk diindeks, maka mesin pencari dapat lebih fokus pada halaman-halaman yang relevan dan meningkatkan kualitas indeks.
Menentukan Frekuensi Pengindeksan
Robot.txt juga dapat digunakan untuk menentukan frekuensi pengindeksan oleh mesin pencari. Dalam hal ini, website dapat memberikan instruksi pada robot tentang frekuensi pengindeksan yang diinginkan, seperti setiap hari atau setiap minggu.
Itulah beberapa fungsi dari robot.txt yang dapat membantu meningkatkan kinerja dan keamanan website. Namun, perlu diingat bahwa meskipun robot.txt dapat memberikan instruksi pada robot dari mesin pencari, hal ini tidak menjamin bahwa halaman-halaman tersebut tidak akan muncul di mesin pencari. Sebab, mesin pencari dapat mengabaikan instruksi pada robot.txt jika dianggap tidak relevan atau melanggar aturan dari mesin pencari tersebut.
Jenis Perayap Google
Google memiliki beberapa perayap (crawler) yang berbeda yang bertugas untuk mengindeks halaman-halaman website dan mengumpulkan informasi tentang website tersebut. Berikut ini adalah beberapa nama perayap Google yang sering digunakan:
Googlebot
Googlebot adalah perayap utama yang digunakan oleh Google untuk mengindeks halaman-halaman pada website. Googlebot melakukan pengindeksan secara teratur dan menyeluruh pada website yang telah diizinkan.
Googlebot-Image
Googlebot-Image adalah perayap Google yang khusus digunakan untuk mengindeks gambar-gambar pada website. Perayap ini akan mengumpulkan informasi tentang gambar seperti judul, deskripsi, dan alt tag.
Googlebot-News
Googlebot-News adalah perayap Google yang digunakan untuk mengindeks artikel-artikel berita pada website. Perayap ini akan mengumpulkan informasi tentang artikel seperti judul, penulis, tanggal, dan sumber berita.
Googlebot-Video
Googlebot-Video adalah perayap Google yang khusus digunakan untuk mengindeks video pada website. Perayap ini akan mengumpulkan informasi tentang video seperti judul, deskripsi, dan durasi.
AdsBot-Google
AdsBot-Google adalah perayap Google yang digunakan untuk mengindeks halaman-halaman website yang digunakan untuk kampanye iklan Google Ads. Perayap ini akan mengumpulkan informasi tentang halaman tersebut untuk menentukan relevansi iklan yang ditampilkan.
Itulah beberapa nama perayap Google yang sering digunakan. Namun, Google juga memiliki perayap lain yang digunakan untuk tujuan khusus seperti untuk mengumpulkan data tentang perangkat lunak pada website atau mengindeks halaman-halaman yang dihasilkan oleh JavaScript.
Robots.txt default pada platform Blogger adalah sebagai berikut:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Berikut adalah langkah-langkah untuk setting file robots.txt pada platform Blogger:
- Login ke akun Blogger Anda.
- Pilih blog yang ingin Anda atur file robots.txt-nya.
- Klik pada menu “Settings” di sebelah kiri halaman.
- Scroll ke tengah “Crawler dan pengindexan”.
- Pada bagian “Aktifkan robots.txt kustom
” klik ceklist.
- lalu klik tulisan “robots.txt kustom” maka akan muncul kolom.
- Salin kode robots.txt yang ingin Anda gunakan ke dalam kotak teks.
- Klik tombol “Simpan”.
Setelah Anda menyimpan perubahan, file robots.txt akan diatur pada blog Anda di platform Blogger. Pastikan kode robots.txt yang Anda gunakan sesuai dengan aturan-aturan yang ingin diterapkan pada website Anda.
Berikut ini adalah kode robots.txt default untuk blog WordPress:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Sitemap: https://namadomain.com/sitemap.xml
Penjelasan dari kode robots.txt di atas adalah sebagai berikut:
- User-agent: *: Ini menunjukkan bahwa aturan yang diterapkan pada file robots.txt ini berlaku untuk semua jenis bot.
- Disallow: Ini menginstruksikan bot untuk tidak mengakses halaman yang disebutkan setelahnya. Di sini, bot dilarang untuk mengakses folder “wp-admin”, “wp-includes”, “wp-content/plugins/”, “wp-content/themes/”, “wp-login.php”, dan “wp-register.php”.
- Sitemap: Ini memberi tahu bot untuk mencari sitemap di URL yang ditentukan.
Anda dapat menyesuaikan file robots.txt ini sesuai kebutuhan dan kebijakan privasi dari blog Anda.
Berikut adalah cara setting robots.txt di WordPress:
- Login ke dashboard WordPress Anda.
- Pilih menu “Settings” dan klik “Reading”.
- Scroll ke bawah hingga menemukan opsi “Search Engine Visibility”.
- Pastikan opsi “Discourage search engines from indexing this site” tidak dicentang. Jika dicentang, maka WordPress akan menghasilkan file robots.txt default yang akan memblokir bot dari mengakses website Anda.
- Jika anda anda ingin menggunakan plugin cari plugin “robot.txt” tampilannya akan seperti dibawah ini
- Jika anda ingin menggunakan FTP, buka situs FTP atau panel kontrol hosting Anda dan cari file robots.txt di direktori utama situs WordPress.
- Jika tidak ada file robots.txt, buatlah file teks baru dengan nama “robots.txt”.
- Tuliskan kode robots.txt yang ingin Anda gunakan sesuai dengan aturan-aturan yang ingin diterapkan pada situs Anda.
- Simpan file tersebut di direktori utama situs WordPress.
Pastikan bahwa file robots.txt sudah terlihat pada URL https://namadomain.com/robots.txt.
Setelah file robots.txt diatur, pastikan kode yang digunakan benar dan tidak memblokir bot yang seharusnya diizinkan mengakses website Anda. Anda juga dapat menggunakan plugin SEO untuk memudahkan setting file robots.txt di WordPress.
