Probleme mit der robots.txt

[gismo]

Hallo,


ich habe folgendes Problem. Meine ursprüngliche robots.txt sah folgendermaßen aus:


User-agent: *
Disallow: /navi.php
Disallow: /index.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*


Da zu erkennen ist, dass index.php gesperrt war, habe ich es manuell abgeändert. Kann mir vielleicht jemand sagen, warum index.php in der robots.txt gesperrt war, ich habe die robots nicht erstellt? Das hat zur Folge, dass ca. 4.000 links nicht in den Index bei webmastertools aufgenommen wurden.


Wie gesagt, nach manueller Änderung der robots.txt sieht sie nun so aus:


User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php

Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*


Jetzt ist mir aufgefallen, wenn ich die Domain in den Webmastertools aufrufe ohne www, ist Disallow: /index.php nicht mehr vorhanden. Rufe ich die Domain mit www. auf, ist Disallow: /index.php immer noch drin. So langsam blicke ich nicht mehr durch. Vielleicht kann mir einer helfen.

Vielen Dank.



gismo

 

[ag-websolutions.de]

AW: Probleme mit der robots.txt

hast du das seo-modul?

 

[Zillis-Web]

AW: Probleme mit der robots.txt

...wenn ich die Domain in den Webmastertools aufrufe ohne www, ... Rufe ich die Domain mit www. auf...

Das sollte ja nun schon mal gar nicht gehen! Die erste Einstellung einer Domain muss sein, dass man sich für eine Variante entscheidet - mit www. oder ohne - und dann entsprechend die .htaccess bearbeitet.
Desweiteren ist in der Standarddatei .htaccess eine Weiterleitung gesetzt, dass wenn die /index.php aufgerufen wird diese umgeleitet wird auf /(root) - hat einfach nur mir Double-Content zu tun. Somit sollte die Angabe in der Robots.txt, dass die index.php nicht indiziert wird völlig richtig sein - soweit meine SEO-Kenntnisse das zulassen.
Soll jetzt heißen 4000 Seiten mehr "doppelter Content" und am Ende dann gar keine Seite in Index ist nicht unbedingt erstrebenswert.
Aber wie gesagt sind nur meine bescheidenen Kenntnisse dazu.

 

[ag-websolutions.de]

AW: Probleme mit der robots.txt

weil seit der 309 (oder auch schon früher....ich hab bis zur 309 zurück nachgesehen) ... in der Original-robots.txt die index nicht mehr drin ist

hier mal die aktuelle robots.txt

User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*

 

[Bremer]

AW: Probleme mit der robots.txt

Kann man auch erstelle Seiten über robots.txt von Suchmaschinen herausnehmen?

Zum Beispiel die Impressum-Seite die im Shop mit Seo-Tool "Impressum" lautet (Kostenlose E-Mail Adresse mit Gratis-SMS bei freenet Mail)


VG

Bremer

 

[Bremer]

AW: Probleme mit der robots.txt

Äh ich weiß nicht warum da jetzt Werbung steht, sollte eigentlich

Zum Beispiel die Impressum-Seite die im Shop mit Seo-Tool "Impressum" lautet "www.xyz.de/Impressum

heißen

 

[ag-websolutions.de]

AW: Probleme mit der robots.txt

weil die domäne "xyz.de" nun mal existiert 😉

 

[Zillis-Web]

AW: Probleme mit der robots.txt

@Bremer,
für Seiten die über CMS angelegt sind, reicht es dort den Haken zu setzen für "NoFollow Attribute setzen". Damit wird dann in den Metaangaben so etwas generiert:

<meta name="robots" content="noindex">

Diese Seiten sind ebenfalls ausgeschlossen von der Indexierung durch Sumas, ohne die robots.txt ständig ändern zu müssen.

 

[bigboss]

AW: Probleme mit der robots.txt

Hallo, stimmt nicht!
Habe neues Hostig 4.2014 von euch, da steht die auch wieder mit drin.