Semrush.com

[vab]

Kennt jemand "Semrush.com"?
habe in meinem Shop unter Referrer seit März öfters diese Website.

 

[Modulexpert]

AW: Semrush.com

Ganz einfachaches dingen.. Ein Konkurent spioniert dich aus. Due kannst darüber alles erfahren wenn du ihn auf deine Seite läßt
SEMRush - Service für Recherche von Mitbewerbern, zeigt organische Google und AdWords Suchbegriffe für jede Site oder Domain

in der robots.txt den bot den zutritt verwehren

 

[vab]

AW: Semrush.com

Hmmm, Spionage von Konkurrenz... ich muss ja interessant sein *feix*

robots.txt hab ich - natürlich.

Um Semrush (und ähnlichen Bockmist) auszusperren, müsste ich ergo ergänzen:

User-agent: *
Disallow: /

Wird Google damit auch ausgesperrt?

 

[ag-websolutions.de]

AW: Semrush.com

User-agent: *

* = ALLE

 

[vab]

AW: Semrush.com

Dreck.
ich hoffte, da wird zwischen den einzelnen Bot-Arten unterschieden. *soifz*

Nun habe ich eingegeben:

User-agent: *
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php

User-agent: Semrush
Disallow: /

 

[ag-websolutions.de]

AW: Semrush.com

du weiß das ein user-agent nicht zwingend an die robots.txt halten muss ?!?!

 

[Modulexpert]

AW: Semrush.com

es gibt noch ne möglichkeit, eine sogenannte robotfalle.. ist aber nen bissel umfangreicher. frag mal hier an,der macht schutz bei vielen systemen:
03222 12 49 674 Frank Leyhe. Ab Montag natürlich

 

[vab]

AW: Semrush.com

du weiß das ein user-agent nicht zwingend an die robots.txt halten muss ?!?!

100%igen schutz gibt es nie, ich kann wenigstens versuchen, den Dreck vor der Türe zu lassen.