User-agent: *
Disallow: /cgi-bin/
#
# l'accès est accordé à tous les agents (tous les spiders), quels qu'ils soient
# Le robot n'ira pas indexer (ni explorer) le dossier /cgi-bin/
#
# Les lignes qui commencent par un signe dièse sont considérées comme étant des commentaires
# robots.txt ne doit pas contenir de lignes vierges
# il ne peut exister qu'un seul fichier robots.txt sur un site et il doit se trouver au niveau de la racine