• twitter image
  • facebook image
  • youtube image
  • linkedin image
Language: CMS Made Simple Czech CMS Made Simple France CMS Made Simple Hungary CMS Made Simple Russia CMS Made Simple Netherlands

All times are UTC




Post new topic This topic is locked, you cannot edit posts or make further replies.  [ 19 posts ]  Go to page Previous  1, 2
Author Message
 Post subject: Re: robots.txt
PostPosted: Thu Nov 04, 2010 2:54 pm 
Offline
Forum Members
Forum Members

Joined: Tue Jun 29, 2010 9:59 am
Posts: 48
Hallo,

da ich mich damit nicht recht auskenne, bin ich froh, dass Nockenfell seine robots.txt-Anleitung gepostet hat.
Ich verwende pretty URLs mit use_hierachie=false. Endung auch .htm .
Liege ich richtig, dass seien robots.txt dafür genauso zutrifft?

Gruß,

Klaus


Top
  Profile  
 
Share On:
Share on Facebook Share on Twitter Share on Google+
 Post subject: Re: robots.txt
PostPosted: Thu Nov 04, 2010 3:48 pm 
Offline
Power Poster
Power Poster

Joined: Fri Sep 12, 2008 2:34 pm
Posts: 752
Location: Schweiz / Switzerland
Du kannst den von mir geposteten robots.txt verwenden. Ich habe ihn hier nochmals neu mit allen nachträglichen Ergänzungen zusammengestellt:

Code:
User-agent: *
Sitemap: http://www.domain.com/gsitemap.php

# Mal alles Sperren
Disallow: /

# Nicht indexieren aller Dateien in folgenden Verzeichnissen
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /doc/
Disallow: /install/
Disallow: /lib/   
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/

User-agent: Googlebot
# Unterbinden der Indexierung aller Dateien mit diesen Endungen
Disallow: /*.cgi$
Disallow: /*.css$
Disallow: /*.gif$
Disallow: /*.gz$
Disallow: /*.inc$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.js$
Disallow: /*.php$
Disallow: /*.php*
Disallow: /*.png$
Disallow: /*.tpl$
Disallow: /*.wmv$
Disallow: /*.xhtml$

# Zugriff auf folgende Verzeichnisse / Dateien erlauben
Allow: /*.htm$
Allow: /index.php
Allow: /gsitemap.php
Allow: /uploads/

# Google Image erlauben alle Bilder zu indexieren
User-agent: Googlebot-Image
Disallow: /
Allow: /uploads/images

# Archivierung der Seite unterbinden
User-agent: ia_archiver
Disallow: /

# duggmirror unterbinden
User-agent: duggmirror
Disallow: /


_________________
[this message is written with 100% recycled bits]


Top
  Profile  
 
Share On:
Share on Facebook Share on Twitter Share on Google+
 Post subject: Re: robots.txt
PostPosted: Fri Nov 05, 2010 2:03 pm 
Offline
Forum Members
Forum Members

Joined: Tue Jun 29, 2010 9:59 am
Posts: 48
Klasse, danke


Top
  Profile  
 
Share On:
Share on Facebook Share on Twitter Share on Google+
 Post subject: Re: robots.txt
PostPosted: Wed Nov 24, 2010 5:34 pm 
Ich finde die Version etwas zu eingeschränkt. Manchmal liegen Bilder z.B. auch im Verzeichnis images. Auch kommt es vor, dass ein PHP-Script von einem Modul oder Plugin Bilder oder Texte ausliefert. Auch finde ich es nicht gut, wenn Google die CSS- und JavaScript-Dateien nicht durchsuchen kann. Ich habe nun eine robots.txt geschrieben, die nicht ganz so einschränkt. Diese findet Ihr hier: http://forum.cmsmadesimple.de/viewtopic.php?pid=181


Top
   
 
Share On:
Share on Facebook Share on Twitter Share on Google+
Display posts from previous:  Sort by  
Post new topic This topic is locked, you cannot edit posts or make further replies.  [ 19 posts ]  Go to page Previous  1, 2

All times are UTC


Who is online

Users browsing this forum: No registered users


You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot post attachments in this forum

Search for:
Jump to:  
A2 Hosting