Google a mis à jour sa politique concernant le fichier robots.txt, précisant qu’il ne prend en charge que quatre champs : « user-agent », « allow », « disallow » et « sitemap ». Pour le dire autrement, les directives non supportées sont ainsi ignorées par les robots de Google. Cette clarification vise à encourager les propriétaires de sites web à éviter d’utiliser des directives non supportées.
Source : Journal des moteurs de recherche
Click to rate this post!
[Total: 0 Average: 0]
