Video: Advisory Council Meeting, 9 September 2014, Madrid 2025
Puoi utilizzare i tag Meta Robots per impedire a uno spider dei motori di ricerca di eseguire la scansione di pagine specifiche nel tuo sito web. Puoi includere un tag speciale nel codice HTML della pagina per dire ai robot di non indicizzare quella pagina, o di non seguire i link su quella pagina. Inseriresti questo tag dopo gli altri tag Meta , che fanno parte del codice HTML situato nella sezione principale di una pagina Web.
L'utilizzo dei tag Meta robot è meno efficiente rispetto all'utilizzo di un file di testo di robot a livello di sito per due motivi. In primo luogo, i robot a volte ignorano i tag Meta robot e, in secondo luogo, questi tag rallentano i robot che leggono le pagine, il che può ridurre il numero di pagine che sono disposti a eseguire la scansione. Inoltre, questo metodo può dare mal di testa a Webmaster perché i tag devono essere mantenuti nelle singole pagine, piuttosto che in un file centrale.
Il tag Meta robots in basso indica al robot del motore di ricerca di non indicizzare la pagina e per non seguire nessuno dei link sulla pagina:
Potresti usare questo tag per dire al robot di leggere e indicizzare il contenuto della pagina, ma di non seguire nessuno dei collegamenti:
Il tag successivo indica al robot di ignorare il contenuto della pagina, ma seguire i collegamenti:
