Am Abend des 16. Dezember 2014, gegen 19:50 Uhr MEZ wurde die Website bzw. der Server www.mtb-news.de mit einer DDoS-Attacke angegriffen, welche innerhalb kürzester Zeit zu einer Nichterreichbarkeit der Website führte. Im folgenden beschreiben wir den Ablauf des Angriffs sowie unsere ergriffenen Maßnahmen zur Abschwächung und zur zukünftigen Abwehr ähnlicher Attacken.
Was war passiert?
Am 16. Dezember gegen 19:50 Uhr MEZ wurde der Server hinter der Domain www.mtb-news.de mit einer DDoS-Attacke angegriffen. Um 19:51 Uhr meldete unser Monitoring per E-Mail, dass die Website http://www.mtb-news.de/ nicht erreichbar ist. Der erste Reflex bestand daran, die Seite zur Kontrolle im Browser zu öffnen. Da dies nicht funktionierte war der nächste Schritt ein Login per SSH auf dem Server. Auch dies schlug fehl.
Das war einer der Momente, in dem das Rätselraten losgeht. Die erste Vermutung war eine Störung im Rechenzentrum – da aber andere Server im gleichen Rack einwandfrei erreichbar waren, schied diese schnell Möglichkeit aus. Die nächste Möglichkeit war dann ein Hardwareschaden. Ein kaputtes Netzteil hatten wir schon hin und wieder gehabt und dann ist der Server einfach aus und zeigt die selben Symptome.
Bevor ich darüber weiter nachdenken konnte, kam eine Mail vom Hoster, dass wir Opfer einer DDoS-Attacke geworden sind.
Shit!
war meine erste Reaktion, wissend, dass man mit preiswert gemieteten Servern in der Regel einem ordentlichen DDoS-Angriff gegenübersteht wie das Lamm einem Rudel Wölfen.
Der Hoster handelte gemäß seiner eigenen Richtlinien und erdete kurz danach die Route zum betreffenden Server, so dass dieser nicht mehr aus dem Internet erreichbar war.
Erste Schritte
Da nun die Lage klar war, war es jetzt das oberste Ziel MTB-News wieder online zu bekommen. Da der Server fortlaufend und ununterbrochen attackiert wurde, war an eine Reaktivierung der Route zum Server erstmal nicht zu denken.
Es stellte sich nun außerdem noch heraus, dass wir einen klassischen Single Point of Failure in MTB-News.de eingebaut hatten, da eigentlich auch unbetroffene Seiten wie z. B. der Bikemarkt oder das Fotoalbum die auf anderen Servern laufen nur schwer erreichbar waren. Der Grund dafür war, dass die anderen Websites für die Benutzerauthentifizierung auf den abgeschalteten Server zugreifen mussten.
Wir lösten zuerst dieses Problem indem wir den Authentifizierungsdienst auf andere Server installierten und die betroffenen Anwendungen entsprechend umkonfigurierten. Dies funktionierte relativ schnell, so dass wir uns wieder dem eigentichen Problem zuwenden konnten.
Um www.mtb-news.de wieder erreichbar zu machen, kam uns erst die Idee, einen anderen Server als sogenannten Proxy einzusetzen und auf den über das Internet nicht erreichbaren Server über unser internes Netzwerk zuzugreifen. Das hätte vermutlich aber kurze Zeit später dazu geführt, dass auch der Proxy-Server Opfer des Angriffs geworden wäre.
Es musste echte Abhilfe her.
Wir bereiteten nun alles vor, um den DDoS-Traffic durch einen externen Dienstleister weit vor unseren Servern und auch weit vor dem Rechenzentrum ausfiltern zu lassen. Leider erfordert dies einige Maßnahmen, die nicht einfach durch ein “Schalter umlegen” zu machen sind, sondern einige Zeit benötigen.
Lösung des Problems
Das eigentliche Problem ist, dass jeder die IP-Adressen zu beliebigen Diensten im Internet sehr einfach über das DNS-System herausfinden kann. Zum Beispiel hatte www.mtb-news.de die IP-Adresse 85.10.203.55:
[marcus@halley:~]
% dig +short www.mtb-news.de
85.10.203.55
Kennt man die IP-Adresse eines Server kann man diese solange mit Internetpaketen bombardieren, bis sie nicht mehr erreichbar ist.
Eine Lösungsmöglichkeit besteht also darin, die IP-Adresse der Server nicht mehr öffentlich im DNS verfügbar zu machen.
Ist die IP-Adresse aber nicht mehr öffentlich einsehbar, kann auch die Website nicht mehr direkt vom Webserver zum Browser ausgeliefert werden, sondern muss über einen sogenannten Proxy-Server weitergeleitet werden.
An dieser Stelle springen jetzt einige Dienstleister ein, die unter Anderem genau solche Proxy-Server als Dienstleistung anbieten. Dazu bieten diese die Möglichkeit seine DNS-Zone (also alle Einträge einer Domain im DNS-System) dort zu hosten. Der Dienstleister kennt dann die wahren IP-Adressen zu den einzelnen Websites, versucht man diese aber selbst aufzulösen erhält man nur IP-Adressen des Dienstleisters gezeigt:
[marcus@halley:~]
% dig +short www.mtb-news.de
104.20.13.97
104.20.17.97
104.20.15.97
104.20.14.97
104.20.16.97
Damit haben wir nun die Server aus der direkten Schusslinie geschafft. Ein DDoS-Angriff auf die neuen IP-Adressen wird vom Dienstleister weggefiltert.
Diese Änderungen bedingen eine Aktualisierung der Nameserver-Einträge in der Domain sowie ein Ablaufen der zwischengespeicherten alten DNS-Einträge in den DNS-Resolvern die von unseren Besuchern genutzt werden. Dieser Prozess dauert üblicherweise einige Stunden und so konnten wir www.mtb-news.de erst und endlich am Morgen des 17. Dezember wieder online bringen.
Der zweite Angriff
Wenige Stunden nachdem wir wieder online waren kam nun der nächste Angriff, der erneut dazu führte, dass die Route zum Server vom Hoster genullt wurde. Diesmal war neben www.mtb-news.de auch bikemarkt.mtb-news.de betroffen.
Der Bikemarkt war noch direkt ohne den Umweg über den Proxy-Server erreichbar und dadurch ein einfaches Ziel. Uns blieb nichts anderes übrig, als auch die Bikemarkt-Server mit neuen IP-Adressen zu versehen und ebenfalls mit Proxies zu versehen.
Dass www.mtb-news.de erneut Angriffsziel wurde – obwohl die neuen IP-Adressen ja eigentlich nicht mehr sichtbar sein sollten, lag wohl daran, dass die neue IP-Adresse sich einfach nur im letzten Oktett um eins unterschied (sie lautete 85.10.203.56 statt 85.10.203.55) und sie zudem noch in der alten DNS-Zone gelistet war. Diese Zone war von vielen DNS-Servern noch nicht vergessen worden, so dass es ein leichtes war, die Adresse herauszufinden.
Nach einem Telefonat mit dem Hoster erhielten wir jetzt unkompliziert und innerhalb kürzester Zeit komplett andere Adressen aus ganz anderen Netzen für die betroffenen Server. An dieser Stelle möchten wir (mal wieder) erwähnen, wie schnell und unkompliziert man uns bei Hetzner Online weitergeholfen hat – so wünscht man sich den Service immer. Noch besser wäre es allerdings, wenn Hetzner selbst Filtermaßnahmen gegen DDoS-Angriffe auf ihr Netzwerk implementieren würde und die Kunden im Falle des Falles nicht einfach vom Internet abschaltet. Andere Hoster in ähnlicher Preisklasse machen das mittlerweile auch, z. B. OVH.
Kurze Zeit später waren alle Dienste wieder erreichbar und die Angriffe kamen danach tatsächlich nicht mehr durch.
Nach 20 Stunden: das Ende
20 Stunden nach Beginn der Angriffe, fast auf die Minute genau, war der Spuk dann endlich vorbei. In der Zwischenzeit wurden pro Sekunde eine fünfstellige Anzahl von Anfragen an die Server weggefiltert. Es prasselten teilweise bis zu 50 Millionen Anfragen pro Stunde auf einen einzelnen Server ein.
Ein derartiger Angriff war für uns auch Premiere – Anfang 2009 hatten wir schon einmal einen DDoS-Angriff, damals auf Rennrad-News.de. Dieser war aber so schnell vorbei wie er angefangen hatte und war schon nach einer Stunde vergessen. Der aktuelle Angriff war da von einem ganz anderen Kaliber – was die verbrauchte Bandbreite wie auch die Dauer betrifft.
Dass wir zufälliges Opfer geworden sind, können wir ausschließen – die zweite Angriffswelle belegt, dass wir gezielt angegriffen wurden. Wer und welche Motivation dahintersteckt ist uns nicht bekannt.
Die Geschichte hat aber durchaus auch gute Seiten gehabt: Erstens haben wir sehr viel dabei gelernt und zweitens werden statische Ressourcen wie Stylesheets, kleine Bilder, Javascript-Dateien usw. jetzt durch ein CDN ausgeliefert, was die Geschwindigkeit mit der unsere Seiten in eurem Browser geladen werden noch mal etwas verbessert hat.
The post DDoS-Angriff auf MTB-News.de – Post Mortem appeared first on Das Schaltwerk.
