Rechtstreeks van Google:
Metatags zijn een geweldige manier voor webmasters om zoekmachines informatie over hun sites te geven. Metatags kunnen worden gebruikt om informatie aan allerlei soorten klanten te verstrekken, en elk systeem verwerkt alleen de metatags die ze begrijpen en negeert de rest.
Als u alle zoekmachines volledig wilt blokkeren:
Waarom?
Misschien is het een ietwat privé-URL op uw site, maar niet zodanig beveiligd dat een zoekbot deze niet kan zien. Alsof een pagina een login vereist om deze te zien, wordt die hoe dan ook geblokkeerd voor een zoekbot. Maar als het slechts een versluierde URL is, wie weet hoe zoekrobots zich verplaatsen, dus misschien wilt u indexering voorkomen.
Zoekresultaten zijn een andere veel voorkomende. Raar om een zoekresultaat misschien zoekresultaten te laten zijn. WordPress-thema's bevatten dit meestal:
Ik zou dat een beetje kunnen veranderen en bots vertellen, hé, je kunt hier links volgen om door te gaan met het indexeren van de site, maar indexeer deze pagina niet specifiek.
Anderen
Zoekmachines gebruiken meestal de description tag voor tekstinhoud naast :
Zie de Google-pagina voor andere Google-specifieke, zoals de mogelijkheid om Google-specifieke UI-dingen, zoals hun "zoekvak voor sitekoppelingen", te stoppen.