robots.txt

CMS made simple ist grundsätzlich in der Lage, für Suchmaschinen optimierte URLs auszugeben. Die Feinheiten rund um Pretty URLs & SEO können hier diskutiert werden.
lucy
Forum Members
Forum Members
Posts: 48
Joined: Tue Jun 29, 2010 9:59 am

Re: robots.txt

Post by lucy »

Hallo,

da ich mich damit nicht recht auskenne, bin ich froh, dass Nockenfell seine robots.txt-Anleitung gepostet hat.
Ich verwende pretty URLs mit use_hierachie=false. Endung auch .htm .
Liege ich richtig, dass seien robots.txt dafür genauso zutrifft?

Gruß,

Klaus
nockenfell
Power Poster
Power Poster
Posts: 751
Joined: Fri Sep 12, 2008 2:34 pm
Location: Schweiz / Switzerland

Re: robots.txt

Post by nockenfell »

Du kannst den von mir geposteten robots.txt verwenden. Ich habe ihn hier nochmals neu mit allen nachträglichen Ergänzungen zusammengestellt:

Code: Select all

User-agent: * 
Sitemap: http://www.domain.com/gsitemap.php

# Mal alles Sperren
Disallow: /

# Nicht indexieren aller Dateien in folgenden Verzeichnissen
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /doc/
Disallow: /install/
Disallow: /lib/	
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

User-agent: Googlebot
# Unterbinden der Indexierung aller Dateien mit diesen Endungen
Disallow: /*.cgi$
Disallow: /*.css$
Disallow: /*.gif$
Disallow: /*.gz$
Disallow: /*.inc$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.js$
Disallow: /*.php$
Disallow: /*.php*
Disallow: /*.png$
Disallow: /*.tpl$
Disallow: /*.wmv$
Disallow: /*.xhtml$

# Zugriff auf folgende Verzeichnisse / Dateien erlauben
Allow: /*.htm$
Allow: /index.php
Allow: /gsitemap.php
Allow: /uploads/

# Google Image erlauben alle Bilder zu indexieren
User-agent: Googlebot-Image
Disallow: /
Allow: /uploads/images

# Archivierung der Seite unterbinden
User-agent: ia_archiver
Disallow: /

# duggmirror unterbinden
User-agent: duggmirror
Disallow: /

[this message is written with 100% recycled bits]
lucy
Forum Members
Forum Members
Posts: 48
Joined: Tue Jun 29, 2010 9:59 am

Re: robots.txt

Post by lucy »

Klasse, danke
Andiministrator

Re: robots.txt

Post by Andiministrator »

Ich finde die Version etwas zu eingeschränkt. Manchmal liegen Bilder z.B. auch im Verzeichnis images. Auch kommt es vor, dass ein PHP-Script von einem Modul oder Plugin Bilder oder Texte ausliefert. Auch finde ich es nicht gut, wenn Google die CSS- und JavaScript-Dateien nicht durchsuchen kann. Ich habe nun eine robots.txt geschrieben, die nicht ganz so einschränkt. Diese findet Ihr hier: http://forum.cmsmadesimple.de/viewtopic.php?pid=181
Locked

Return to “Suchmaschinenoptimierung (SEO)”