Eingliederung der robots.txt und sitemap.xml Dateien

[topsiteXL]

Hallo,

ich würde gerne wissen ob ich die robots.txt und sitemap.xml Dateien in den richtigen Web Ordner hochgeladen habe, unzwar habe ich diese im root Verzeichnis eingefügt, wo sich die ganzen PHP Dateien (topliste.php, add.php, out.php, index.php, usw.) befinden.

D.h. ich habe diese nicht in den html/standart Ordner eingefügt wo sich die ganzen HTML Datei befinden.

Des weiteren habe ich eine Frage zum auschließen bestimmter Seiten bei der Indexierung. Ich möchte die Impressum Seite für Suchmaschinen blockieren. Ist der u.a. robots.txt Code soweit richtig oder muss statt impressum.php impressum.html angegeben werden?

Code: Alles auswählen

User-agent: *
Allow: /

User-agent: *
Disallow: /html/standart/impressum.php
Allow: /

Herzlichen Dank!

Gruß Taise

[Paddelberg]

Die beiden Dateien kommen immer in den Hauptordner (root) der Domain. Wäre in deinem Fall also richtig

Der Eintrag für die robots.txt muss folgendermassen lauten

Code: Alles auswählen

User-agent: *
Disallow: /impressum.php

mfg

[topsiteXL]

Danke für die Korrektur!

Ist die folgende Meta Angabe ein Widerspruch zum gewünschten Inhalt des robots.txt?

<meta name="robots" content="index,follow">

MfG Taise

[Paddelberg]

bei der impressum.php ist es vielleicht schon ein Widerspruch, wobei die meisten Bots der robots.txt den vorrang geben.
Eigentlich kannst du den meta Tag komplett rausschmeissen. Bringt eh nicht wirklich was. Ist die standard Einstellung. Macht eigentlich nur Sinn, wenn man noindex oder nofollow angibt, um den Bots zu untersagen, die Seite zu indizieren oder den Links zu folgen.

mfg

[topsiteXL]

Danke für den Hinweis!