Le fichier robots.txt indique aux moteurs de recherche quelles parties de votre site peuvent être explorées et lesquelles doivent être ignorées. Il contribue à orienter les robots d’indexation et à optimiser leur exploration du site.