Cara Mengoptimalkan Robots.txt untuk Teknik SEO

tips mengoptimalkan robots.txt

Salah satu hal utama dalam mengoptimalkan teknik SEO adalah dengan membuat file Robots.txt. Saat mengunjungi sebuah website, tugas pertama yang dilakukan search engine adalah mencari dan memeriksa file tersebut.

Sementara, kesalahan dalam konfigurasi file Robots.txt dapat berdampak negatif terhadap peringkat dan lalu lintas blog kita sendiri.

Untuk itu mari kita cari tahu apa itu Robots.txt dan bagaimana cara mengoptimalkannya.

Baca Juga: Cara Membuat Anchor Text yang Tepat di Postingan Blog

Apa itu Robots.txt?

File Robots.txt adalah file teks yang berada di direktori root website, ia bertindak sebagai alat sekaligus pemberi intstruksi perayapan kepada search engine.

Halaman apa saja yang ingin diindeks atau tidak, itu tergantung dari isi dari file Robots.txt itu sendiri.

Apakah Robots.txt itu Penting?

Jelas sangat penting, file yang dikenal sebagai protokol atau file teks ini akan memberitahu kepada Robot web bahwa halaman mana saja yang mau dirayapi atau tidak.

katakanlah search engine akan mengunjungi sebuah blog, sebelum mengunjungi halaman target, ia akan memeriksa Robots.txt terlebih dahulu.

Intinya, kesalahan membuat file Robots.txt sudah pasti dapat berpengaruh negatif pada blog kita sendiri, diantaranya:

  • Tidak mendapatkan optimasi dalam hal perayapan.
  • Lebih rentan terhadap kesalahan SEO.
  • Terbuka untuk melihat data sensitif.
  • Lebih mudah bagi pengguna yang berniat jahat untuk meretas blog Anda.
  • Mengeluarkan sinyal membingungkan ke search engine.

Bagaimana Cara Mengoptimalkan Robots.txt?

Cara optimasi Robots.txt itu sendiri bergantung pada konten Sobat yang miliki. Dalam pengaturannya bahwa Sobat tidak dianjurkan untuk memblokir halaman dari search engine.

Karena, secara otomatis mesin perayapan akan menonindeks halaman Anda, dan tidak akan muncul di penelusuran.

Berikut langkah-langkah optimasi Robots.txt pada blog Anda:

1. Tambahkan kode ini pada template HTML tepat di atas kode </head>.


<meta content='noindex' name='robots'/>

<b:if cond='data:blog.searchLabel'>
<meta content='noindex,nofollow' name='robots'/>

<b:if cond='data:blog.isMobile'>

<meta content='noindex,nofollow' name='robots'/>

Kemudian, save template Anda.

2. Copy kode di bawah ini, masuk dashboard Blogger & klik Setelan > Preferensi Penelusuran > letakan di Robots.txt Khusus.


User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://nama-blog-anda/sitemap.xml

Atau, jika Sobat ingin mengatur halaman mana saja yang dapat di akses atau tidak.

Misalnya: Halaman about us untuk tidak ingin dirayapi.


User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about
Allow: /
Sitemap: https://nama-blog-anda/sitemap.xml

Keterangan

Sintaks Robots.txt dapat dianggap sebagai "bahasa" file Robots.txt, dan ada beberapa istilah umum yang digunakan.

User Agen: Penjelajah web khusus yang akan memberikan instruksi penjelajahan di mesin telusur.

Disallow: Perintah yang digunakan untuk memberi tahu agen-pengguna agar tidak merayapi URL tertentu. hanya satu baris "Disallow:" yang diizinkan untuk setiap URL.

Allow: Perintah untuk memberi tahu Googlebot dapat mengakses halaman atau subfolder, meskipun halaman induk atau subfoldernya mungkin tidak diizinkan (Hanya berlaku untuk Googlebot).

Sitemap: Digunakan untuk memanggil lokasi dari semua sitemap XML yang terkait dengan URL. Perintah ini hanya didukung oleh "Google, Ask, Bing, dan Yahoo."

3. Selanjutnya, dibagian menu "Tag Tajuk Robot Khusus" silahkan atur seperti gambar dibawah ini.

pengaturan tag tajub robot khusus

Bagaimana Cara Menguji dan Memvalidasi Robots.txt?

Cara terbaik untuk menguji dan memvalidasinya adalah melalui opsi penguji Robots.txt dari Google Search Console.

Caranya bisa Anda lihat seperti ini:

1. Masuk ke Robots Testing Tool > Lalu klik pada "Penguji Robots.txt" yang ditemukan dibawah opsi Perayapan.

2. Setelah itu, tab pada bagian tombol Uji, jika semuanya ok, tombol Test akan berubah menjadi berwarna hijau dan label akan berubah menjadi diperbolehkan.

Namun jika ada masalah, pesan akan menampilkan error atau warning disudut bawah.

pengujian robots txt

Baca Juga: 2 Cara Menangkal Komentar Spam di Blogger

Kata Akhir

Penggunaan yang tidak tepat dari file Robots.txt dapat merusak peringkat di search engine.

File atau folder apa pun yang tercantum dalam dokumen tersebut tidak akan dirayapi dan diindeks oleh spider mesin perayapan.

Jadi, Mengoptimalkan Robots.txt adalah tugas yang perlu dilakukan ketika kita baru pertama kali membuat blog dan ini juga sebagai bagian dari teknik SEO.

0 Response to "Cara Mengoptimalkan Robots.txt untuk Teknik SEO"

Post a Comment