robots.txt
Posted: Wed Mar 03, 2010 6:44 pm
Zur Suchmaschinen Optimierung und zur Sicherheit sollte eine Robots.txt Datei angelegt werden. Ich habe mir heute mal die Mühe gemacht dies ein wenig näher anzuschauen. Hier das Ergebnis:
Für die Sitemap kann die Google-Sitemap des folgenden Projekts verwendet werden:
http://dev.cmsmadesimple.org/projects/gsgenerator
Code: Select all
User-agent: *
Sitemap: http://www.domain.com/gsitemap.php
# Nicht indexieren aller Dateien in folgenden Verzeichnissen
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /doc/
Disallow: /install/
Disallow: /lib/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
User-agent: Googlebot
# Unterbinden der Indexierung aller Dateien mit diesen Endungen
Disallow: /*.cgi$
Disallow: /*.css$
Disallow: /*.gif$
Disallow: /*.gz$
Disallow: /*.inc$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.js$
Disallow: /*.php$
Disallow: /*.php*
Disallow: /*.png$
Disallow: /*.tpl$
Disallow: /*.wmv$
Disallow: /*.xhtml$
# Zugriff auf folgende Verzeichnisse / Dateien erlauben
Allow: /index.php
Allow: /gsitemap.php
Allow: /uploads/
# Google Image erlauben alle Bilder zu indexieren
User-agent: Googlebot-Image
Disallow: /
Allow: /uploads/images
# Archivierung der Seite unterbinden
User-agent: ia_archiver
Disallow: /
# duggmirror unterbinden
User-agent: duggmirror
Disallow: /
http://dev.cmsmadesimple.org/projects/gsgenerator