Adapter robots.txt

Adapter votre fichier robots.txt

Pour passer la validation de la configuration mobile vous devez adapter votre fichier robots.txt.

Ce fichier n'est pas présent dans les patchs cumulatif et non-cumulatif pour ne pas écraser vos éventuelles modifications par exemple le blocage de robots indésirables.
 

A noter :

Sitemap: https://www.monsite.net/sitemaps.xml

Cettte ligne n'est présente que si vous avez sélectionné la génération des sitemaps en config services, bien sur www.monsite.net est remplacé par l'url de votre site.

Par contre le fichier est bien présent dans le pack GuppY 5.02.06,

Contenu du fichier robots.txt à mettre sur votre site :

User-agent: *
Disallow: /compte.php
Disallow: /connect.php
Disallow: /admin/
Disallow: /data/
Disallow: /file/
Disallow: /flash/
Disallow: /inc/
Allow: /inc/csshead/
Allow: /inc/jshead/
Allow: /inc/img/
Allow: /inc/lang/*.gif$
Allow: /inc/*.css$
Allow: /inc/*.js$
Allow: /inc/calendar.php
Disallow: /install/
Disallow: /plugins/
Disallow: /save/
Disallow: */trackback
Disallow: /cgi-bin
Sitemap: https://www.monsite.net/sitemaps.xml

 

GuppY 5.02 : Adapter votre fichier robots.txt par Papinou – Licence Libre CeCILL – Juin 2015 - maj Novembre 2018