Wie sich Supercomputing entwickeln wird, laut Jack Dongarra

Hochleistungs-Supercomputing – einst eine exklusive Domäne der wissenschaftlichen Forschung – ist heute eine strategische Ressource für das Training immer komplexerer Modelle der künstlichen Intelligenz. Die Konvergenz von KI und HPC definiert nicht nur diese Technologien neu, sondern auch die Art und Weise der Wissensproduktion und nimmt eine strategische Position in der globalen Landschaft ein.

Um die Entwicklung von HPC zu diskutieren, traf WIRED im Juli Jack Dongarra, einen US-amerikanischen Informatiker, der in den letzten vier Jahrzehnten maßgeblich zur Entwicklung von HPC-Software beigetragen hat – so sehr, dass er 2021 mit dem renommierten Turing Award ausgezeichnet wurde. Das Treffen fand im Rahmen der 74. Nobelpreisträgertagung in Lindau statt, bei der Dutzende Nobelpreisträger sowie mehr als 600 Nachwuchswissenschaftler aus aller Welt zusammenkamen.

Dieses Interview wurde aus Gründen der Länge und Klarheit bearbeitet.

WIRED: Welche Rolle werden künstliche Intelligenz und Quantencomputing in der wissenschaftlichen und technologischen Entwicklung in den kommenden Jahren spielen?

Jack Dongarra: Ich würde sagen, KI spielt bereits eine wichtige Rolle in der Wissenschaft: Wir nutzen KI auf vielfältige Weise, um wissenschaftliche Entdeckungen zu unterstützen. Sie wird in der Informatik eingesetzt und hilft uns, das Verhalten von Dingen abzuschätzen. Ich sehe KI als eine Möglichkeit, eine Annäherung zu erreichen und diese dann möglicherweise mit traditionellen Techniken zu verfeinern.

Heute verfügen wir über traditionelle Techniken zur Modellierung und Simulation, die auf Computern laufen. Bei sehr anspruchsvollen Problemen greift man auf einen Supercomputer zurück, um die Lösung zu berechnen. KI wird das schneller, besser und effizienter machen.

KI wird auch über die Wissenschaft hinaus Auswirkungen haben – sie wird wichtiger sein als das Internet damals. Sie wird allgegenwärtig sein in unserem Alltag. Sie wird auf so viele Arten eingesetzt werden, die wir heute noch gar nicht wirklich kennen. Sie wird einen größeren Nutzen haben als das Internet in den letzten 15, 20 Jahren.

Quantencomputing ist interessant. Es ist wirklich ein wunderbares Forschungsgebiet, aber ich denke, wir haben noch einen langen Weg vor uns. Wir haben zwar schon Beispiele für Quantencomputer – Hardware kommt immer vor Software –, aber diese Beispiele sind sehr primitiv. Bei einem digitalen Computer führen wir eine Berechnung durch und erhalten eine Antwort. Der Quantencomputer liefert uns stattdessen eine Wahrscheinlichkeitsverteilung für die Antwort. Wir führen eine Reihe von – nennen wir es mal – Durchläufen auf dem Quantencomputer durch und er liefert uns eine Reihe potenzieller Lösungen für das Problem, aber er liefert uns nicht die Antwort. Es wird also anders sein.

Befinden wir uns mit dem Quantencomputing in einem Hype-Moment?

Ich denke, es wurde leider überbewertet – es gibt zu viel Hype um Quanten. Das führt typischerweise dazu, dass die Leute sich riesig darüber freuen, aber dann hält es keines der Versprechen, die gemacht wurden, und dann bricht die Begeisterung zusammen.

Wir haben das schon einmal erlebt: KI hat diesen Zyklus durchlaufen und sich erholt. Und heute ist KI Realität. Die Menschen nutzen sie, sie ist produktiv und wird uns allen einen großen Nutzen bringen. Ich denke, Quantentechnologie muss diesen Winter überstehen, in dem sie die Menschen entmutigt und ignoriert, und dann werden kluge Köpfe herausfinden, wie man sie nutzen und wettbewerbsfähiger gegenüber herkömmlichen Technologien machen kann.

Es gibt viele Probleme, die gelöst werden müssen. Quantencomputer sind sehr leicht zu stören. Sie werden viele „Fehler“ haben – sie werden aufgrund der Natur der Berechnungen zusammenbrechen. Solange wir die Systeme nicht widerstandsfähiger gegen diese Fehler machen, werden sie nicht ganz die Leistung bringen, die wir uns erhoffen. Ich glaube nicht, dass wir jemals einen Quanten-Laptop haben werden. Ich kann mich irren, aber ich glaube sicher nicht, dass das zu meinen Lebzeiten passieren wird.

Quantencomputer benötigen auch Quantenalgorithmen, und heute gibt es nur sehr wenige Algorithmen, die effektiv auf einem Quantencomputer ausgeführt werden können. Quantencomputing steckt also noch in den Kinderschuhen, ebenso wie die Infrastruktur, die den Quantencomputer nutzen wird. Quantenalgorithmen, Quantensoftware und die uns zur Verfügung stehenden Techniken sind also alle noch sehr primitiv.

Wann können wir – wenn überhaupt – mit dem Übergang von traditionellen zu Quantensystemen rechnen?

Heute gibt es weltweit viele Supercomputing-Zentren mit sehr leistungsstarken Computern. Dabei handelt es sich um Digitalrechner. Manchmal wird der Digitalrechner mit einem Beschleuniger erweitert, um die Leistung zu steigern. Heutzutage sind diese Beschleuniger GPUs (Graphics Processing Units). GPUs können bestimmte Aufgaben sehr gut erledigen, sie sind dafür konzipiert. Früher war das für die Grafik wichtig; heute entwickeln wir das so um, dass wir GPUs für einige unserer Rechenanforderungen nutzen können.

Ich denke, wir werden CPU und GPU in Zukunft durch weitere Geräte ergänzen. Quanten könnten ein weiteres Gerät sein, das wir hinzufügen könnten. Vielleicht wäre es neuromorphes Computing – Computing, das die Funktionsweise unseres Gehirns nachahmt. Und dann gibt es noch optische Computer. Stellen Sie sich vor, Sie lassen Licht einfallen und dieses Licht interferieren, und die Interferenz ist im Grunde die gewünschte Berechnung. Stellen Sie sich einen optischen Computer vor, der zwei Lichtstrahlen empfängt, in denen Zahlen kodiert sind. Wenn sie in diesem Computer interagieren, erzeugt er ein Ergebnis, nämlich die Multiplikation dieser Zahlen. Und das geschieht mit Lichtgeschwindigkeit. Das ist also unglaublich schnell. Dieses Gerät könnte möglicherweise in dieses CPU-, GPU-, Quanten- und neuromorphe Computergerät passen. All das ließe sich möglicherweise kombinieren.

Wie wirkt sich der aktuelle geopolitische Wettbewerb – zwischen China, den Vereinigten Staaten und anderen Ländern – auf die Entwicklung und den Austausch von Technologien aus?

Die USA schränken den Export von Computern nach China in gewissem Maße ein. Beispielsweise dürfen bestimmte Teile von Nvidia dort nicht mehr verkauft werden. Sie werden jedoch in Gebiete rund um China verkauft, und wenn ich chinesische Kollegen besuche und mir anschaue, was sie in ihren Computern haben, stellen sie fest, dass dort viel Nvidia-Material verbaut ist. Es gibt also einen inoffiziellen Weg.

Gleichzeitig investiert China nicht mehr in westliche Technologie, sondern in eigene Technologien und investiert verstärkt in die Forschung, die zu deren Weiterentwicklung nötig ist. Vielleicht hat sich diese Einschränkung als nachteilig erwiesen, da China die Entwicklung von Komponenten, die es selbst kontrollieren kann, deutlich stärker beschleunigt hat, als es sonst möglich wäre.

Die Chinesen haben außerdem beschlossen, Informationen über ihre Supercomputer nicht öffentlich zu machen. Wir wissen zwar, wie sie aussehen, welches Potenzial sie haben und was sie geleistet haben – aber es gibt keine Messgröße, die es uns erlaubt, diese Computer kontrolliert mit unseren Maschinen zu vergleichen. Sie verfügen über sehr leistungsstarke Maschinen, die wahrscheinlich mit der Leistung unserer größten US-Maschinen mithalten können.

Sie basieren auf Technologie, die in China erfunden oder entwickelt wurde. Sie haben ihre eigenen Chips entwickelt. Sie konkurrieren mit den Chips, die wir in westlichen Computern verwenden. Die Frage ist: Wo wurden die Chips hergestellt? Die meisten im Westen verwendeten Chips werden von der Taiwan Semiconductor Manufacturing Company hergestellt. China verfügt über eine Technologie, die der von TSMC um ein oder zwei Generationen hinterherhinkt, aber sie werden aufholen.

Ich vermute, dass einige der chinesischen Chips auch in Taiwan hergestellt werden. Wenn ich meine chinesischen Freunde frage: „Wo wurden eure Chips hergestellt?“, antworten sie: „China.“ Und wenn ich sie frage: „Wurden sie in Taiwan hergestellt?“, kommt die Antwort: „Taiwan ist ein Teil Chinas.“

Wie wird sich die Rolle von Programmierern und Entwicklern im Zuge der Weiterentwicklung der KI verändern? Werden wir Software ausschließlich in natürlicher Sprache schreiben können?

KI spielt meiner Meinung nach eine sehr wichtige Rolle, da sie zeitaufwändige Schritte bei der Programmentwicklung abnimmt. Sie sammelt alle verfügbaren Informationen über die Programme anderer, fasst diese zusammen und kann sie dann weiterentwickeln. Ich war sehr beeindruckt, als ich einige dieser Systeme gebeten habe, Software für eine bestimmte Aufgabe zu schreiben; die KI hat das ziemlich gut gemacht. Und dann kann ich das mit einer weiteren Aufforderung verfeinern, etwa „Optimiere das für diesen Computertyp“, und das macht sie ziemlich gut. Ich denke, wir werden in Zukunft immer mehr Sprache verwenden, um KI eine Geschichte zu beschreiben und sie dann ein Programm schreiben zu lassen, das diese Funktion ausführt.

Natürlich gibt es Grenzen – und wir müssen aufpassen, dass wir nicht durch Halluzinationen oder ähnliches zu falschen Ergebnissen kommen. Aber vielleicht können wir einige Kontrollen einbauen, um die von der KI produzierten Lösungen zu verifizieren und so die potenzielle Genauigkeit dieser Lösung zu messen. Wir sollten uns der potenziellen Probleme bewusst sein, aber ich denke, wir müssen in dieser Hinsicht Fortschritte machen.

Diese Geschichte erschien ursprünglich auf WIRED Italia und wurde aus dem Italienischen übersetzt.