Bots mithilfe von htaccess aussperren
AddOutputFilterByType wird angewendet, wenn dies Apache-Module mod_brotli oder|und mod_deflate auf deinem Server aktiv sind.
Mit der Option: "jeden Bot in einer neuen Zeile ausgeben" kannst du einzelne Bots ein und auskommentieren um auf deinem Server zu schauen, ob und welche Bots-Forbidden Rule greift.
Benutze zum Aussperren von Bots unseren htaccess Generator.
Gib in diesem htaccess Generator den konkreten Namen des Bots oder ein Teil des Bot-Namens ein.
Beginne mit einem Bot und füge das generierte htaccess Snippet in deine .htaccess ein.
Die gute Nachricht: Bots lassen sich in den Server-Logs in der Regel gut erkennen.
Viele Bots zeigen an, dass sie Bots sind. Dafür übertragen die Bots ihre Kennung im sogenannten User-Agent ein. Über diesen User-Agent können wir mithilfe unseres htaccess Generators diese Bots effektiv ausschließen.
Beispielzeile aus dem Apache Log:
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"
Auf die Details des User-Agents möchte ich hier nicht genauer eingehen.
Wenn du dich weiter zum Thema einlesen möchtest, ist die folgende Seite ein guter Einstieg: User-Agent nachlesen
Bots lassen sich auf dem Apache Server unterschiedlich aussperren.
AddOutputFilterByType wird angewendet, wenn dies Apache-Module mod_brotli oder|und mod_deflate auf deinem Server aktiv sind.
Schalte diese Option ein, wenn du dir nicht sicher bist, ob das optionale Apache-Module auf deinem Server installiert ist.
Da es sich bei AddOutputFilterByType um keine Firewall Option handelt, kannst du hier das IfModule einschalten.
Mit der Option: "jeden Bot in einer neuen Zeile ausgeben" kannst du einzelne Bots ein und auskommentieren um auf deinem Server zu schauen, ob und welche Bots-Forbidden Rule greift.
