Ausgeschlossene webcrawler

[adamacka]

Hallo

Seit ich unseren Shop von 4 auf 5 upgradet habe, "besucht" uns keinen einziegen Crawler mehr...
Ich habe keine Ahnung woran es liegen könnte.

Es gibt in den Statistiken>Suchmaschinen einen Reiter "Ausgeschlossene Crawler" mit eine Liste von 500 Stück. Aber was bedeutet dies? In der Shop WiWi steht kein einziges Wort darüber!
Bedeutet "ausgeschlossen" dass die nur für die Statiskik ausgeschlossen sind = nicht gezeigt werden ODER bedeutet dass das die alle aus der Liste einfach blockiert sind?
Wenn blockiert... dann reicht es einfach einzelnde aus der Liste zu löschen? Die Liste ist übriegens sehr schwer zu handhaben... keine Sortier- oder Suchmöglikeiten.

Danke für die Hilfe
Adam

PS. Ich glaube das dieses Verhalten hat nicht viel mit dem Upgrade selbst zu tun weil ich ein ganz anderes Shop5 neu erstellt habe und hat dort exakt das gleiche Problem.

 

[Condorraptor]

Hast du schon in der robots.txt nachgeschaut ob möglicherweise die Seite vom indexieren ausgeschlossen wird?

 

[en001]

Die robots.txt dafür zu nutzen ist immer der falsch Weg. Man sollte mit noindex arbeiten.

 

[adamacka]

emmm... erst mal danke für die Antworten aber eigentlich meine Frage war, ob jemand etwas weisst was mit den kuriosen "Ausgeschlossen Crawler" zu tun hat...
Aber weil ich von dieser Materie Recht weing Anhung habe gehe davon aus das da zusammen Hänge bestehen... und bin natürlich sehr dankbar für jeder Art von Hilfe.

Deswege hier die Infos: mein robotx.txt:

User-agent: *
Disallow:

und die Einstellung "Suchmaschinen-Indexierung von Merkmalwert-URLs" steht auf index

Weisst jemand woran es sonst liegen könnte?

Danke für die Hilfe
Adam

 

[adamacka]

Ich habe ein Ticket eröffnet und vom JTL Antwort bekommen:

>Bedeutet "ausgeschlossen" dass die nur für die Statiskik ausgeschlossen
>sind

Richtig, um die Statistik nicht zu verfälschen werden die Bots nur für die Statistik ausgeschlossen.

nun... es ist jetzt klar das die nur für die Statistik gelten aber die crawler kommen trotzdem nicht (nur bei allen unseren Shop5) .... hat jemand einen Idee voran es sonst liegen könnte?

Danke für die Hilfe
Adam

 

[Vermessungsartikel]

Ich habe das gleiche Phänomen wie adamacka, laut Statistik waren keine Crawler da, in der Google Search Console steht allerdings was anderes. Warum stimmt die Statistik im Shop Backend nicht?

 

[rmarcus29]

Hi,

@adamacka konntest du das Problem in den Griff kriegen?

Gruß

Marcus

 

[jherchen]

JA, das wäre mal interessant, kommt hier bei einem Shop auch genau so vor. Umstellung von Shop 4 auf Shop 5. Angeblich keine Besuche von Bots, inklusive google mehr.

 

[Rayblaster]

Bei uns ist die Statistik seit Umstieg von Shop 4 auf 5 auch leer!
Hier liegt scheinbar ein Problem im Shop Backend da uns täglich laut Log viele Crawler besuchen.
Gibt es hier eine Lösung von JTL?