Robots txt

Robots.txt, juga dikenal sebagai standar pengecualian robot, adalah file teks di direktori root situs web. Ini adalah standar yang digunakan oleh situs web untuk…