next »

[Badyl]

Hello, i have a small site based on CMS MS 1.2.3

This site vistits few people (10-100 per day)

But recently this site vistit robot's - and the robot's I thing consume a lot's of resuorces of my server.

I don't use any module( news, etc), only the page and preety URLS - site.html

When I analyse a log of the domain I saw this entry

Code:

/ -> /wiersze-zielone.html -> /wiersze-zielone/w119.html -> /wiersze-zielone/w030.html -> /wiersze-zielone/wiersze-zielone/w044.html -> /wiersze-zielone/wiersze-zielone/w130.html -> /wiersze-zielone/w047.html -> /wiersze-zielone/wiersze-zielone/wiersze-zielone/w090. html -> /wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ w049.html -> /wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ wiersze-zielone/w014.html -> /wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ wiersze-zielone/wiersze-zielone/w092.html -> /wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ wiersze-zielone/wiersze-zielone/wiersze-zielone/w066. html -> /wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ wiersze-zielone/wiersze-zielone/wiersze-zielone/w080. html -> /wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ w093.html -> /wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ wiersze-zielone/w015.html -> /wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ wiersze-zielone/wiersze-zielone/w003.html -> /wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ wiersze-zielone/wiersze-zielone/wiersze-zielone/wiersze-zielone/ galeria.html -> /

etc etc, something is wrong, something is looping.

Any idea ?

My acces log from only 1 day - http://www.teresaocieszko.eu/teresaocieszko.eu-access_log-2008.03.26.gz

My .htaccess :

Code:

# Begin Rewrite rules for CMSMS
RewriteEngine On
RewriteCond %{REQUEST_FILENAME} !-f [NC]
RewriteCond %{REQUEST_FILENAME} !-d [NC]
RewriteRule ^(.+)$ index.php?page=$1 [QSA]
# End Rewrite rules for CMSMS

maybe in this is problem ?

[Pierre M.]

Hello,

what about politely reject the robot from /wiersze-zielone/ with robots.txt ?

Pierre M.

[Badyl]

unfortunately i don't have a phisical structure of directory.

Only in admin page in section "pages" I arrange the page structure.

In my opinion this strangulate cause the .httacces

maybe someone has the sollution for this ?

[Pierre M.]

Hello again,

if you don't care this robot' indexing, you can deny it access by user agent filtering in .htaccess.

Pierre M.