Hallo,
wenn ich meine Webseite über Seobility crawlen lasse, werden auch Seiten mit anhängenden Parametern wie ?Sortierung=3 oder ?af=50 analysiert. Daher nehme ich an, dass auch Google und andere Bots das tun. Aus meiner Sicht wäre das nicht erforderlich und würde Crawling-Budget sparen.
Ist es empfehlenswert, solche Seiten, die in der URL einen Parameter haben, in der robots.txt auszuschließen?
wenn ich meine Webseite über Seobility crawlen lasse, werden auch Seiten mit anhängenden Parametern wie ?Sortierung=3 oder ?af=50 analysiert. Daher nehme ich an, dass auch Google und andere Bots das tun. Aus meiner Sicht wäre das nicht erforderlich und würde Crawling-Budget sparen.
Ist es empfehlenswert, solche Seiten, die in der URL einen Parameter haben, in der robots.txt auszuschließen?