Reduzierung von Cloud-Abfall im großen Maßstab: Akamai spart 70 % durch den Einsatz von KI-Agenten, die von Kubernetes orchestriert werden

Gerade im beginnenden Zeitalter der generativen KI sind die Cloud-Kosten so hoch wie nie zuvor. Das liegt aber nicht nur daran, dass Unternehmen mehr Rechenleistung verbrauchen – sie nutzen diese auch nicht effizient. Allein in diesem Jahr werden Unternehmen voraussichtlich 44,5 Milliarden US-Dollar für unnötige Cloud-Ausgaben verschwenden.

Für Akamai Technologies stellt dies ein noch größeres Problem dar: Das Unternehmen verfügt über eine große und komplexe Cloud-Infrastruktur auf mehreren Clouds, ganz zu schweigen von zahlreichen strengen Sicherheitsanforderungen.

Um dieses Problem zu lösen, wandte sich der Anbieter von Cybersicherheit und Content Delivery an die Kubernetes-Automatisierungsplattform Cast AI , deren KI-Agenten dabei helfen, Kosten, Sicherheit und Geschwindigkeit in Cloud-Umgebungen zu optimieren .

Letztendlich konnte Akamai mithilfe der Plattform je nach Arbeitslast zwischen 40 und 70 % der Cloud-Kosten einsparen.

„Wir brauchten eine kontinuierliche Möglichkeit, unsere Infrastruktur zu optimieren und unsere Cloud-Kosten zu senken, ohne dabei die Leistung zu beeinträchtigen“, sagte Dekel Shavit, Senior Director of Cloud Engineering bei Akamai, gegenüber VentureBeat. „Wir sind diejenigen, die Sicherheitsereignisse verarbeiten. Verzögerung ist keine Option. Wenn wir nicht in der Lage sind, in Echtzeit auf einen Sicherheitsangriff zu reagieren, haben wir versagt.“

Kubernetes verwaltet die Infrastruktur, auf der Anwendungen ausgeführt werden, und erleichtert so deren Bereitstellung, Skalierung und Verwaltung, insbesondere in Cloud-nativen und Microservices-Architekturen.

Cast AI ist in das Kubernetes-Ökosystem integriert, um Kunden bei der Skalierung ihrer Cluster und Workloads, der Auswahl der optimalen Infrastruktur und der Verwaltung von Rechenlebenszyklen zu unterstützen, erklärte Gründer und CEO Laurent Gil. Die Kernplattform ist Application Performance Automation (APA). Diese wird von einem Team spezialisierter Agenten betrieben, die kontinuierlich die Anwendungsleistung, Sicherheit, Effizienz und Kosten überwachen, analysieren und Maßnahmen ergreifen. Unternehmen stellen nur die Rechenleistung bereit, die sie von AWS, Microsoft, Google oder anderen Anbietern benötigen.

APA basiert auf mehreren Machine-Learning-Modellen (ML) mit Reinforcement Learning (RL) basierend auf historischen Daten und erlernten Mustern, ergänzt durch einen Observability Stack und Heuristiken. Die Plattform ist mit Infrastructure-as-Code-Tools (IaC) in mehreren Clouds gekoppelt und stellt somit eine vollständig automatisierte Plattform dar.

Gil erklärte, dass APA auf dem Grundsatz aufbaut, dass Observability nur ein Ausgangspunkt ist; wie er es formulierte, ist Observability „die Grundlage, nicht das Ziel“. Cast AI unterstützt zudem eine schrittweise Einführung, sodass Kunden nichts komplett ersetzen müssen, sondern die Integration in bestehende Tools und Workflows durchführen können. Darüber hinaus verlässt nichts die Kundeninfrastruktur; alle Analysen und Aktionen erfolgen in dedizierten Kubernetes-Clustern, was für mehr Sicherheit und Kontrolle sorgt.

Gil betonte auch die Bedeutung der Menschzentrierung. „Automatisierung ergänzt die menschliche Entscheidungsfindung“, sagte er, wobei die APA an Human-in-the-Middle-Workflows festhalte.

Shavit erklärte, dass die große und komplexe Cloud-Infrastruktur von Akamai Content Delivery Network (CDN) und Cybersicherheitsdienste antreibt, die „einigen der anspruchsvollsten Kunden und Branchen der Welt“ bereitgestellt werden, während gleichzeitig strenge Service Level Agreements (SLAs) und Leistungsanforderungen eingehalten werden.

Er merkte an, dass sie bei einigen der von ihnen genutzten Dienste wahrscheinlich die größten Kunden ihres Anbieters seien, und fügte hinzu, dass sie mit ihrem Hyperscaler „tonnenweise Kern-Engineering und Reengineering“ durchgeführt hätten, um ihre Anforderungen zu erfüllen.

Darüber hinaus betreut Akamai Kunden unterschiedlicher Größe und Branchen, darunter große Finanzinstitute und Kreditkartenunternehmen. Die Dienstleistungen des Unternehmens stehen in direktem Zusammenhang mit der Sicherheitslage seiner Kunden.

Letztendlich musste Akamai diese Komplexität mit den Kosten abwägen. Shavit wies darauf hin, dass reale Angriffe auf Kunden die Kapazität bestimmter Infrastrukturkomponenten um das Hundert- oder Tausendfache erhöhen könnten. „Eine vorab um das Tausendfache erhöhte Cloud-Kapazität ist jedoch finanziell einfach nicht machbar“, sagte er.

Sein Team erwog eine Optimierung auf der Codeseite, doch die inhärente Komplexität ihres Geschäftsmodells erforderte eine Konzentration auf die Kerninfrastruktur selbst.

Was Akamai wirklich brauchte, war eine Kubernetes-Automatisierungsplattform, die die Kosten für den Echtzeitbetrieb der gesamten Kerninfrastruktur in mehreren Clouds optimieren und Anwendungen je nach ständig wechselnder Nachfrage skalieren konnte, erklärte Shavit. Dies alles durfte jedoch keine Einbußen bei der Anwendungsleistung bedeuten.

Vor der Implementierung von Cast stellte Shavit fest, dass das DevOps-Team von Akamai alle Kubernetes-Workloads nur wenige Male im Monat manuell optimierte. Angesichts des Umfangs und der Komplexität der Infrastruktur war dies eine Herausforderung und kostspielig. Durch die nur sporadische Analyse der Workloads wurde jegliches Echtzeit-Optimierungspotenzial deutlich vertan.

„Heute nehmen Hunderte von Cast-Agenten die gleiche Abstimmung vor, nur dass sie es jede Sekunde des Tages tun“, sagte Shavit.

Die wichtigsten APA-Funktionen, die Akamai verwendet, sind Autoscaling, tiefgreifende Kubernetes-Automatisierung mit Bin Packing (Minimierung der Anzahl der verwendeten Bins), automatische Auswahl der kosteneffizientesten Compute-Instanzen, Workload-Rightsizing, Spot-Instance-Automatisierung über den gesamten Instanzlebenszyklus und Kostenanalysefunktionen.

„Wir erhielten bereits zwei Minuten nach der Integration Einblick in die Kostenanalyse – etwas, das wir vorher noch nie erlebt hatten“, so Shavit. „Sobald aktive Agenten eingesetzt wurden, setzte die Optimierung automatisch ein, und die Einsparungen begannen sich zu entfalten.“

Spot-Instanzen – bei denen Unternehmen zu ermäßigten Preisen auf ungenutzte Cloud-Kapazitäten zugreifen können – waren zwar wirtschaftlich sinnvoll, erwiesen sich aber aufgrund der komplexen Workloads von Akamai, insbesondere Apache Spark, als kompliziert, so Shavit. Dies bedeutete, dass die Workloads entweder überdimensioniert oder mit mehr Personal ausgestattet werden mussten, was sich finanziell als kontraintuitiv erwies.

Mit Cast AI konnten sie Spot-Instanzen auf Spark ohne jegliche Investitionen des Entwicklungsteams oder des Betriebs nutzen. Der Nutzen von Spot-Instanzen war klar ersichtlich; sie mussten lediglich das richtige Tool finden, um sie nutzen zu können. Dies war einer der Gründe für die Entscheidung für Cast, so Shavit.

Obwohl die Einsparung von zwei- oder dreimal so viel bei der Cloud-Rechnung großartig ist, betonte Shavit, dass die Automatisierung ohne manuelle Eingriffe „unbezahlbar“ sei. Sie habe zu „enormen“ Zeiteinsparungen geführt.

Vor der Implementierung von Cast AI war sein Team ständig damit beschäftigt, Knöpfe und Schalter zu verschieben, um sicherzustellen, dass ihre Produktionsumgebungen und Kunden den Service boten, in den sie investieren mussten.

„Der größte Vorteil war zweifellos, dass wir unsere Infrastruktur nicht mehr selbst verwalten müssen“, so Shavit. „Das Cast-Agententeam übernimmt das jetzt für uns. Dadurch kann sich unser Team auf das Wesentliche konzentrieren: Funktionen schneller für unsere Kunden bereitzustellen.“

Anmerkung der Redaktion: Bei der VB Transform dieses Monats diskutieren Will Grannis, CTO von Google Cloud, und Richard Clarke, SVP und Chief Analytics Officer von Highmark Health, über den neuen KI-Stack im Gesundheitswesen und die realen Herausforderungen beim Einsatz multimodellbasierter KI-Systeme in einem komplexen, regulierten Umfeld. Registrieren Sie sich noch heute .