Definisi Robots.txt

Robots.txt, juga dikenal sebagai standar pengecualian robot, adalah file teks di direktori root situs web. Ini adalah standar yang digunakan oleh situs web untuk berkomunikasi dengan perayap web dan robot web lainnya. Perayap web adalah bot Internet yang menelusuri web secara sistematis. Robot web adalah aplikasi perangkat lunak yang menjalankan tugas otomatis, seperti skrip, melalui Internet. File robots.txt memberi tahu perayap area mana dari situs web yang akan dimasuki dan mana yang harus dibiarkan. File robots.txt sering digunakan oleh mesin pencari untuk mengkategorikan dan mengarsipkan halaman web. Webmaster juga dapat menggunakannya untuk mengoreksi kode sumber.

Bagaimana tepatnya cara kerja robots.txt? Pertama, ini membantu untuk memahami pekerjaan mesin pencari. Mesin pencari merayapi web untuk menemukan konten dan akan mengindeks konten yang ditemukan sehingga pencari dapat menemukannya. Untuk merayapi situs, mesin pencari akan mengikuti satu tautan ke tautan lain dan seterusnya, di jutaan dan miliaran situs web. Ini dikenal sebagai “laba-laba.” Namun sebelum crawler benar-benar bisa spider, ia akan membaca file robots.txt untuk mengetahui caranya. Jika tidak ada instruksi untuk perayap, perayap akan merayapi informasi lain.

Website yang berisi subdomain biasanya membutuhkan file robots.txt. Hal ini untuk mencegah agar informasi yang tidak dapat dilihat oleh publik diambil kata kuncinya. Setiap sub domain pada domain root memerlukan file robots.txt terpisah.

Sebelum Anda mulai bekerja dengan file robots.txt, penting untuk mengetahui apa yang Anda lakukan karena melakukannya dengan tidak benar dapat membahayakan situs web Anda. Nama peka huruf besar/kecil, jadi pastikan itu dimasukkan dengan benar, tanpa huruf kapital.

Ke mana perginya file robots.txt? File robots.txt akan selalu berada di root domain Anda:

https://www.mywebsite.com/robots.txt

Apa kerugian menggunakan file robots.txt? File robots.txt memang memiliki batasan. Misalnya, perintah robots.txt mungkin tidak didukung oleh semua mesin telusur. Artinya, meskipun Googlebot dan perayap web berkualitas lainnya akan mematuhi instruksi, yang lain mungkin tidak. Dalam efek yang sama, perayap yang berbeda akan menafsirkan sintaks secara berbeda. Ada baiknya untuk mengetahui sintaks yang tepat untuk setiap perayap web sehingga mereka semua melakukan hal yang sama.

Apa keuntungan menggunakan file robots.txt? Karena setiap laba-laba pencarian tiba di situs web dengan mengetahui berapa banyak halaman yang diizinkan untuk dijelajahi, ini akan membantu anggaran Anda. Ini disebut “anggaran perayapan” oleh SEO. Memblokir mesin telusur agar tidak merayapi area bermasalah di situs web Anda sangat bermanfaat sehingga mereka dapat fokus pada area yang penting. Saat Anda memblokir area ini, ini memberi Anda waktu untuk masuk dan memperbaiki apa pun yang diperlukan untuk melakukan perbaikan sebelum membiarkan crawler masuk kembali.

Robots.txt juga bermanfaat untuk menjaga agar file video, audio, dan gambar tidak muncul di hasil pencarian. Individu masih dapat menautkan ke file video, audio, dan gambar Anda.