Za razliku od robots.txt datoteke čija pravila se odnose na pristup pojedinim sadržajima, vrijednost robots atributa name (unutar META taga) govori sustavu za automaski dohvat podataka da li je potrebno slijediti linkove na stranici i treba li ili ne stranicu dohvatiti.