1.400 Leute in Jita? Fleetfights mit 1.200 Leuten?

In den letzten Wochen gab es einige Dev-Blogs zu den durchgeführten Hard- und Software Upgrades am EvE-Cluster. Wer ein wenig Einblick in die Server-Architektur haben will, was sich dabei im Hintergrund tut und wohin die nächsten Schritte gehen, darf gerne im Folgepost weiter lesen, in dem ich versucht habe ein wenig zusammen zu fassen.

Der ganze EvE-Cluster läuft auf sogenannten Bladeservern mit zwei 64-bit-AMD Opteron 2,8GHz Dual Core Pozessoren, 4GB DDR1-RAM und Windows Server 2003 x64. Jeder Blade hostet zwei Nodes und jeder Node mehrere Solarsysteme. Außerdem gibt es noch eigene Nodes für den Markt, Corpfunktionen usw.
Weiters gibt es noch einen extra Pool an Computern die für Jita und andere Hotspots beansprucht werden. Nur einen Node pro Rechner auf dem nur ein System läuft. Stärkere CPUs und 16GB sorgen, dafür das nun auch 1.400 Spieler auf einmal Spaß haben können.

Der Cluster selbst teilt sich in drei Bereiche:

• Proxy Blades- Das sind die Server die sich um die Verbindung zwischen Clients und Server kümmern.
• SOL Blades- Die Arbeitstiere von Tranquility (Anm. der Name des EvE-Clusters). Auf diesen 90-100 Rechnern liegt im Moment der Hauptaugenmerk, was Performanceverbesserungen angeht.
• Datenbank Cluster- Die darauf laufenden Nodes interagieren mit der Datenbank, welche natürlich das Herz von EvE ist. Dank der zwei RamSans, hält die Datenbank mit den von uns generierten Daten mit. Zu Spitzenzeiten werden 2.000 Transaktionen pro Sekunde verarbeitet, was 38.000 IOPS (input output operations per second) entspricht

StacklessIO
Als erstes wurde Mitte September ein Netzwerklayer namens StacklessIO implementiert. Ãœber 2 Jahre dauerte es bis die Eigenentwicklung aus dem Hause CCP auf die Öffentlichkeit losgelassen wurde. Hauptaufgabe dieser neuen Schicht ist es in high-volume Situationen für bessere Netzwerkperformance zu sorgen (also Markthubs, Fleetfights usw.).

Am 19. September war es also soweit. Normalerweise erreicht Jita (Anm. EvEs größtes Markthub Sonntags an die 800-900 Leute. Freitags waren knapp 1.000 und Samstags sogar bahnbrechende 1.400(!) Leute online.



Während die Serveranfragen pre-StacklessIO bei 800-900 Leuten in Jita schon mal 1-2 Minuten dauern konnten, zeigte es mit dem neuen Netzwerklayer und 1.400 Leuten eine wesentlich bessere Performance. Die Pingzeiten sind im Schnitt um den Faktor 3 geschrumpft und sorgen so spürbar für ein besseres Spielgefühl.

Im Endeffekt ging dem Jita-Node bei 1.400 Leuten allerdings der Speicher aus und stürzte ab. So verrückt es auch klingt, war das für das CCP-Clusterteam sehr spannend, da sie vorher so etwas noch nie beobachten konnten und so durch die gesammelten Informationen bereits an der Lösung des Problems arbeiten.

Als erster Schritt wurden die betroffenen Rechner durch Dual Core Intel Xeon 3.0GHz Woodcrest Blades mit 16GB DDR2-RAM ersetzt, welche wesentlich bessere Leistungen zeigten. Die Leistung war sogar so gut, dass das gesamte GM-Team keine einzige „Stuck Character“-Petition an dem Wochenende aus Jita bekamen!

EvE64
Durch StacklessIO war es nun möglich EvE auf den Servern endlich als 64-bit Version auszuführen. Innerhalb einer Woche durcharbeiten war die Migration von 32 auf 64-bit möglich und ging Ende September live.

Fleetfight
Am Samstag den 4. Oktober, begann einer der 0.0-Nodes (Anm. das „Free for all“-Gebiet) rot zu blinken und stürzte kurz danach ab. Dies passierte in kurzer Folge einige Male und stellte CCP vor neue Probleme. Das neue StacklessIO sorgte für so schnellen Datenfluss, dass dadurch die Server nicht mehr mithalten konnten.
Bei 700+ Leuten die versuchten „pew pew“ zu machen, kam der AMD-Node einfach nicht mehr mit. Also leitete man die betroffenen Systeme auf einen der Test-Intel Xeon-Blades um, nur um zu schauen was diese so vertragen. 700+ ging ohne Probleme und die Systeme stürzten nicht ab.

Sonntags ließ man M-OEE8 (Anm. ein System aus 5.000, das aber trotzdem jeder EvE-DCler kennt ), auf dem Test-Blade wobei der Spitzenwert 450 Spielern erreichte.

Montag Nacht war es dann so weit (Anm. der ersten Angriffswelle folgt immer eine zweite, wobei hier der Verteidiger einen Zeitpunkt zwischen 0 und 48 Stunden nach dem ersten Angriff bestimmen kann), über 1.000 Leute quetschten sich in das System und begannen zu kämpfen.
Während bei den regulären AMD-Blades bei 700 Leuten Schluss war, ging der Intel-Rechner bei 1.200 in die Knie. Interessanterweise berichteten die Spieler das die Leistung bei 1.000 Schiffen und den 10-15 Minuten bevor sich der Server verabschiedete, sehr gut waren.

Da es CCP nicht möglich ist, die epischen Fleetfights voraus zu sagen, sind sie auf Spielerhinweise angewiesen. Steht eine große Flottenoperation an, kann/soll man 24 Stunden vorher eine Petition (Kategorie: „Stuck Character“) schreiben, da mit die entprechenden System anders geroutet werden können.

Zukunftsaussichten
Die 3.0GHz Intel Woodcrest Blades sind nett, doch wurde die Prozessorarchitektur bereits durch Wolfdale ersetzt, welche noch leistungsfähiger ist. Wir haben dann gleich mal ein paar Eilbestellungen für die neuen Intel Xeon 3,3GHz Wolfdales-Blades abgeschickt und freuen uns schon diese im EvE-Cluster testen zu können.

Quellen:
StacklessIO: http://myeve.eve-online.com/devblog.asp?a=blog&bid=584
EvE64: http://myeve.eve-online.com/devblog.asp?a=blog&bid=588
Der Rest: http://myeve.eve-online.com/devblog.asp?a=blog&bid=589

Was mir an CCP als Entwickler gut gefällt ist, dass sie offen mit der Spielergemeinde umgehen. In so genannten "DEV Blogs", die regelmäßig erscheinen schreiben Programmierer, Gamemaster, etc. aus ihrem Arbeitsbereich und aktuellen Neuentwicklungen.

Auch im Forum findet man recht häufig von "echten" Entwicklern Antworten und Feedabck zu Spielerfragen. Von Blizzard bspw. kenne ich es nur so, dass es höchstens mal einen Community Manager gibt, der sich relativ wischiwaschi äußert.

Außerdem welcher Betreiber eines MMO legt schon seine Serverinfrastruktur inklusive Auslastungskurven offen?

win 2003 x64 und amd? für mich absolutes no go

ansonsten finde ich das wirklich sehr interessant wie transparent ccp hier ist. man nutzt eine schwäche und macht diese zu einer stärke. hut ab!

Hier mal ein Battlereport aus der Gegend die ich in dem Newspost beschrieben habe: http://www.jagdkommando.org/nc-kb/battle/51296

Schlappe 762 Leute haben sich da bekloppt mit 305 Kills