Drucken

[Bayernkini]

Auf jeden Fall ist es seit geraumer Zeit ein dauerhaftes Problem und lĂ€stig. Ich verstehe ja, daß ggf. bei einem Serverumzug/Wartung Probleme auftreten, aber die sollten dann doch
auch wieder zeitnah behoben sein.

Ich hatte auch mal meinen Virenschutz in Verdacht, aber auch bei Deaktivierung desselben gabs keine Besserung.

[zy]

Also es liegt nicht am Serverumzug, der ist schon davor abgeschlossen worden (seit ca. dem 25.3).

Wenn ich mir die Logs so ansehe , sind es einige Robots die ganz schön heftig die Seite crawlen.

Ziemlich genau um 9:29 - 9:34 war echt eine ganze Menge los.

ich werde mal fĂŒr paar Tage alle robots blockieren. mal sehen.

Bitte weiter feedback zukommen lassen, Uhrzeiten sind immer hilfreich.

[Bayernkini]

Ich hab zwar das mit der vollen und halben Stunde zunÀchst als \"Verschwörungstheorie\" abgetan,
muß aber mittlerweile ebenfalls zustimmen, falls es mal wieder nicht klappt und ich auf die Uhr sehe,
ist es tatsÀchlich jeweils die Volle und Halbe Stunde (+ - 5 Minuten).

Gerade eben, zw. 10.31 - 10.33 kein Zugang.

[zy]

Ja das scheint echt mit einem bestimmten Robot zu korrelieren.

mal sehen wie ich den blockieren kann , die robots.txt wird ignoriert.

[MacGuffin]

Das Problem tauchte ja auch Ende letzten Jahres auf (die Meldung am 02.01. resultierte ja aus dem langsam angestauten Frust der Zeit davor ).
NatĂŒrlich haben wir jetzt mehr Daten an der Hand.
Viel Erfolg bei der Jagd!

[zy]

So ich habe den besagten bot , und paar andere BadBots per -htaccess geblockt. mal sehen ob das hilft.

[Mandulis]

DrĂŒcken wir mal die Daumen.

[Lettow-Vorbeck]

12.00-12.02Uhr ging es nicht :wacko:

[zy]

ich habe jetzt auch deren iprange an der firewall geblockt.

[zy]

12.00-12.02Uhr ging es nicht :wacko:

Das waren evtl. Meine versuche , hab den Apache server paar mal restartet.

FĂŒr die, die es interessiert, der bot der die Probleme verursacht ist : semrushbot

deren aussage : Please note that there might be a delay up to two weeks before SEMrushBot discovers the changes you made to robots.txt.


Alle anderen haben fast sofort gestoppt zu crawlen.

[Wellington]

Es passiert auch mitten in der Nacht dass zu vollen und halben Stunde keine Antwort kommt. Ein Backup Prozess der zuviel Resourcen frisst?

[zy]

es laufen natĂŒrlich backups von anderen server, die auf dem selben storage subsystem laufen.

Der forums Server an sich wird nicht tÀglich gesichert.

Die backups laufen nachts, was aber nicht die \"ausfĂ€lle\" um 9, 9:30, 12:00 usw. erklĂ€ren wĂŒrde.

Es ist unwahrscheinlich, dass dies die Ursache sein könnte.

mal sehen ob die Bot Blockierung hilft.

[Hanno Barka]

Please note that there might be a delay up to two weeks before SEMrushBot discovers the changes you made to robots.txt.

Das ist schon... ich sag jetzt besser nix^^

[zy]

da ich hier nichts mehr gelesen habe, kann ich davon ausgehen , dass das Problem behoben ist ?

[MacGuffin]

Das alte Problem beim Bugfixen ist natĂŒrlich, dass man nur sicher sein kann, wenn der Fehler auftritt
Ich war in den letzten Tagen nicht so viel online, aber das Problem ist kein einziges Mal aufgetreten :thumbsup: