Ki-explosion: suleyman warnt vor exponentiellem wachstum – die simulation der realität
Die Künstliche Intelligenz verändert die Welt schneller als wir es je für möglich gehalten hätten. Mustafa Suleyman, aktueller Kopf der KI-Abteilung bei Microsoft, sieht die Entwicklung als eine 'historische Technologie', deren volle Wirkung erst jetzt beginnt sich zu entfalten. Ein Umbruch, der die Regeln der Evolution sprengt.
Von taschenrechnern zu supercomputern: ein quantensprung
Suleyman beschreibt den Fortschritt als eine 'Explosion', nicht als ein lineares Wachstum. Seit 2010 hat sich die Rechenleistung in den Top-KI-Modellen um das eine Vierteljahrhundert gesteigert – von 1014 FLOPS zu über 1026 FLOPS. Das ist keine Verbesserung, sondern eine fundamentale Transformation.
Er vergleicht den Trainingsprozess von KI mit einer Menschenmenge, die mit Taschenrechnern arbeitet. Früher war es, als würden mehr Leute mit Taschenrechnern ausgestattet, aber die meisten warten, bis die Daten eintreffen. Heute geht es darum, dass alle Taschenrechner gleichzeitig arbeiten und als eine einzige, gigantische Intelligenz agieren.
Die säulen des wandels: hardware, daten und konnektivität
Dieser Wandel basiert auf drei disruptiven Technologien: Zunächst die deutlich schnelleren Chips von Nvidia, die bereits 2020 mit 312 Teraflops und heute mit 2.250 Teraflops beeindrucken. Microsofts Chip, der Maia 200, bietet zudem 30% mehr Leistung pro Euro. Zweitens die rasante Zufuhr von Daten dank HBM-Speicher, der Chips wie Hochhäuser stapelt und das Bandbreitenlimit sprengt. HBM3 verdoppelt die Bandbreite im Vergleich zur Vorgängergeneration. Und drittens die Vernetzung von Tausenden von GPUs in Supercomputer, die sich wie Städte miteinander verbinden – dank Technologien wie NVLink und InfiniBand.
Eric Schmidt, ehemaliger CEO von Google, warnt: Die Auswirkungen dieser Entwicklung sind erst im Anfangsstadium. Wir erleben gerade das 10- bis 15-prozentige Stadium der Entwicklung.
Die zukunft ist jetzt – und sie frisst strom
Die Konsequenz ist eine 'Bestie', deren Anforderungen explodieren. Was 2020 noch 167 Minuten mit acht GPUs benötigte, geht heute in weniger als vier Minuten. Eine Verbesserung um das 50-fache – weit über die 5-fache Prognose von Moore's Law. Die Prognosen sind dementsprechend alarmierend: Die Rechenleistung wird bis 2027 das 100-Millionen-Chip-H100-Niveau erreichen – ein Anstieg um das 10-fache in nur drei Jahren. Microsoft, Nvidia und die Jagd nach Superintelligenz bestimmen diesen Wettlauf.
Suleyman betont, dass es längst nicht mehr um Prototypen geht, sondern um riesige, realistische Infrastrukturen – Cluster mit 100.000 GPUs, Server, die die Größe einer Kühlschrank hinterlassen und einen Energieverbrauch von 120 Kilowattstunden pro Rack sowie Rechenzentren, die das Stromwachstum des Vereinigten Königreichs, Frankreichs, Deutschlands und Italiens in ihrem Spitzenverbrauch simulieren.