Page 2 of 2
Re: robots.txt
Posted: Thu Nov 04, 2010 2:54 pm
by lucy
Hallo,
da ich mich damit nicht recht auskenne, bin ich froh, dass Nockenfell seine robots.txt-Anleitung gepostet hat.
Ich verwende pretty URLs mit use_hierachie=false. Endung auch .htm .
Liege ich richtig, dass seien robots.txt dafür genauso zutrifft?
Gruß,
Klaus
Re: robots.txt
Posted: Thu Nov 04, 2010 3:48 pm
by nockenfell
Du kannst den von mir geposteten robots.txt verwenden. Ich habe ihn hier nochmals neu mit allen nachträglichen Ergänzungen zusammengestellt:
Code: Select all
User-agent: *
Sitemap: http://www.domain.com/gsitemap.php
# Mal alles Sperren
Disallow: /
# Nicht indexieren aller Dateien in folgenden Verzeichnissen
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /doc/
Disallow: /install/
Disallow: /lib/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
User-agent: Googlebot
# Unterbinden der Indexierung aller Dateien mit diesen Endungen
Disallow: /*.cgi$
Disallow: /*.css$
Disallow: /*.gif$
Disallow: /*.gz$
Disallow: /*.inc$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.js$
Disallow: /*.php$
Disallow: /*.php*
Disallow: /*.png$
Disallow: /*.tpl$
Disallow: /*.wmv$
Disallow: /*.xhtml$
# Zugriff auf folgende Verzeichnisse / Dateien erlauben
Allow: /*.htm$
Allow: /index.php
Allow: /gsitemap.php
Allow: /uploads/
# Google Image erlauben alle Bilder zu indexieren
User-agent: Googlebot-Image
Disallow: /
Allow: /uploads/images
# Archivierung der Seite unterbinden
User-agent: ia_archiver
Disallow: /
# duggmirror unterbinden
User-agent: duggmirror
Disallow: /
Re: robots.txt
Posted: Fri Nov 05, 2010 2:03 pm
by lucy
Klasse, danke
Re: robots.txt
Posted: Wed Nov 24, 2010 5:34 pm
by Andiministrator
Ich finde die Version etwas zu eingeschränkt. Manchmal liegen Bilder z.B. auch im Verzeichnis images. Auch kommt es vor, dass ein PHP-Script von einem Modul oder Plugin Bilder oder Texte ausliefert. Auch finde ich es nicht gut, wenn Google die CSS- und JavaScript-Dateien nicht durchsuchen kann. Ich habe nun eine robots.txt geschrieben, die nicht ganz so einschränkt. Diese findet Ihr hier:
http://forum.cmsmadesimple.de/viewtopic.php?pid=181