CMS Made Simple Forums
https://forum.cmsmadesimple.org/

robots.txt
https://forum.cmsmadesimple.org/viewtopic.php?f=61&t=42056
Page 2 of 2

Author:  lucy [ Thu Nov 04, 2010 2:54 pm ]
Post subject:  Re: robots.txt

Hallo,

da ich mich damit nicht recht auskenne, bin ich froh, dass Nockenfell seine robots.txt-Anleitung gepostet hat.
Ich verwende pretty URLs mit use_hierachie=false. Endung auch .htm .
Liege ich richtig, dass seien robots.txt dafür genauso zutrifft?

Gruß,

Klaus

Author:  nockenfell [ Thu Nov 04, 2010 3:48 pm ]
Post subject:  Re: robots.txt

Du kannst den von mir geposteten robots.txt verwenden. Ich habe ihn hier nochmals neu mit allen nachträglichen Ergänzungen zusammengestellt:

Code:
User-agent: *
Sitemap: http://www.domain.com/gsitemap.php

# Mal alles Sperren
Disallow: /

# Nicht indexieren aller Dateien in folgenden Verzeichnissen
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /doc/
Disallow: /install/
Disallow: /lib/   
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

User-agent: Googlebot
# Unterbinden der Indexierung aller Dateien mit diesen Endungen
Disallow: /*.cgi$
Disallow: /*.css$
Disallow: /*.gif$
Disallow: /*.gz$
Disallow: /*.inc$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.js$
Disallow: /*.php$
Disallow: /*.php*
Disallow: /*.png$
Disallow: /*.tpl$
Disallow: /*.wmv$
Disallow: /*.xhtml$

# Zugriff auf folgende Verzeichnisse / Dateien erlauben
Allow: /*.htm$
Allow: /index.php
Allow: /gsitemap.php
Allow: /uploads/

# Google Image erlauben alle Bilder zu indexieren
User-agent: Googlebot-Image
Disallow: /
Allow: /uploads/images

# Archivierung der Seite unterbinden
User-agent: ia_archiver
Disallow: /

# duggmirror unterbinden
User-agent: duggmirror
Disallow: /


Author:  lucy [ Fri Nov 05, 2010 2:03 pm ]
Post subject:  Re: robots.txt

Klasse, danke

Author:  Andiministrator [ Wed Nov 24, 2010 5:34 pm ]
Post subject:  Re: robots.txt

Ich finde die Version etwas zu eingeschränkt. Manchmal liegen Bilder z.B. auch im Verzeichnis images. Auch kommt es vor, dass ein PHP-Script von einem Modul oder Plugin Bilder oder Texte ausliefert. Auch finde ich es nicht gut, wenn Google die CSS- und JavaScript-Dateien nicht durchsuchen kann. Ich habe nun eine robots.txt geschrieben, die nicht ganz so einschränkt. Diese findet Ihr hier: http://forum.cmsmadesimple.de/viewtopic.php?pid=181

Page 2 of 2 All times are UTC
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
http://www.phpbb.com/