Dieser Beitrag ist auch verfügbar auf: English
Warum verbrauchen KI-Modelle so viel Energie?
Die Entwicklung und Nutzung von KI-Modellen erfordern enorme Mengen an Rechenleistung. Beispielsweise hat das Training des von ChatGPT bekannten Sprachmodells GPT-3 laut einer Studie der University of Massachusetts Amherst rund 628 Tonnen CO₂-Emissionen verursacht. Dieser Wert ist vergleichbar mit dem Lebenszeitverbrauch von fünf Autos in den USA. Der Grund: Das Training erfordert spezialisierte Hardware und immens viel Energie, die oft aus fossilen Brennstoffen stammt.
Da solche KI-Modelle mit zunehmender Leistungsfähigkeit immer größer und aufwendiger werden (in der Fachsprache Skalierung genannt), könnte deren Energieverbrauch in den nächsten Jahren weiter steigen. Darüber hinaus benötigen KI-Systeme nicht nur Rechenleistung für das Training, sondern auch für die alltägliche Nutzung.
Beispiele für nachhaltige KI-Ansätze
Trotz dieser Herausforderungen gibt bereits etliche Ansätze, KI-Systeme nachhaltiger zu gestalten:
Energieeffiziente Hardware
Moderne Computerchips wie die von NVIDIA oder Google verwendeten Tensor Processing Units (TPUs) wurden speziell entwickelt, um KI-Anwendungen effizienter auszuführen. Diese Chips können kann die Energieanforderungen drastisch senken.
Optimierung von KI-Modellen
KI-Experten arbeiten bereits daran, KI-Modelle kleiner und effizienter zu machen. „Distillation“-Techniken beispielsweise reduzieren die Komplexität eines KI-Modells, ohne dessen Leistung stark zu beeinträchtigen.
Verwendung erneuerbarer Energien
Technologiegiganten wie Google und Microsoft investieren stark in Rechenzentren, die mit erneuerbarer Energie betrieben werden. So hat Google beispielsweise 2020 berichtet, dass es 100 Prozent seines Energieverbrauchs durch erneuerbare Quellen ausgleicht.
Federated Learning
Anstatt alle Daten zentral zu speichern und zu verarbeiten, findet die Verarbeitung auf den Geräten der Nutzer statt. Dies reduziert nicht nur den Energieverbrauch der Server, sondern schützt auch die Privatsphäre.
So funktionieren Tensor-Chips
Die unter anderem von Google und NVIDIA verwendeten Tensor- Chips sind speziell für die Verarbeitung von Tensordaten entwickelt worden. Tensordaten bestehen aus multidimensionalen Arrays. Diese sind Datenstrukturen, die Werte in mehreren Dimensionen (wie etwa Zeilen und Spalten in einer Tabelle oder Matrix) organisieren, um komplexe Datensätze kompakt darzustellen und zu verarbeiten. Solche Berechnungen sind für KI-Systeme enorm wichtig – sie werden hier oft millionenfach wiederholt ausgeführt.
Zudem sind Tensor-Chips im Gegensatz zu traditionellen Computerchips auf geringere Präzision und mehr parallele Berechnungen ausgelegt, da KI-Modelle oft nicht die maximale mathematische Präzision jeder Berechnung benötigen. Daher können Tensor -Chips enorm Speicher und Energie sparen, ohne die Genauigkeit der Ergebnisse wesentlich zu beeinträchtigen. Dies macht sie ideal für den Einsatz in Rechenzentren und auf mobilen Geräten.
Wie funktioniert Distillation bei KI-Modellen?
Distillation, auch bekannt als Knowledge Distillation, ist eine Methode, um große, komplexe KI-Modelle effizienter zu machen. Dies geschieht, indem das Wissen eines leistungsfähigen Modells (des „Teacher Models“) auf ein kleineres, effizienteres Modell (das „Student Model“) übertragen wird. Diese Technik zielt darauf ab, die Leistung des „Lehrermodells“ weitgehend beizubehalten, während das „Schülermodell“ weniger Rechenressourcen benötigt und schneller arbeitet.
Der Distillationsprozess funktioniert, indem das Teacher Model nicht nur die richtigen Antworten (Labels) für eine Aufgabe liefert, sondern auch zusätzliche Informationen in Form von „Soft Targets“. Diese Soft Targets sind die Wahrscheinlichkeitsverteilungen, die das Lehrermodell für jede mögliche Antwort ausgibt.
Beispielsweise könnte ein großes Sprachmodell für die zu vervollständigende Phrase „Das Wetter ist heute …“ eine hohe Wahrscheinlichkeit für „sonnig“ und geringere Wahrscheinlichkeiten für „regnerisch“ oder „bewölkt“ berechnen. Das Schülermodell wird darauf trainiert, diese Wahrscheinlichkeitsverteilungen nachzuahmen.
Der Vorteil dieser Methode liegt darin, dass das Student Model effizienter wird, ohne aufwendig die kompletten Trainingsdaten erneut verarbeiten zu müssen. Es benötigt weniger Speicher, Energie und Rechenzeit, was besonders in ressourcenbeschränkten Anwendungen wie mobilen Geräten oder IoT-Sensoren von Bedeutung ist.
Gleichzeitig bleibt das Student Model in der Lage, ähnlich genaue Vorhersagen zu treffen wie das ursprüngliche, größere Modell. Knowledge Distillation ist somit eine Schlüsseltechnik, um KI-Anwendungen nachhaltiger zu gestalten, ohne Kompromisse bei der Leistung einzugehen. Das bekannteste Beispiel von Distillation ist die ungleich schnellere Chat-GPT-Variante GPT-4o Mini.
Innovative Beispiele aus der Praxis
Einige Projekte zeigen, wie KI aktiv zur Umweltfreundlichkeit beitragen kann:
- DeepMind, eine Tochter von Alphabet / Google, setzt KI ein, um den Energieverbrauch in Googles Rechenzentren zu reduzieren. Durch maschinelles Lernen konnten die Energiekosten um bis zu 40 % gesenkt werden.
- Smart Cities: Städte wie Singapur nutzen KI, um den Verkehr effizienter zu steuern, Energieverschwendung zu minimieren und den CO₂-Ausstoß zu reduzieren.
- Umweltschutz: Das „Green Horizon“-Projekt von IBM nutzt KI, um die Luftqualität zu überwachen und Maßnahmen zur Emissionsreduzierung zu empfehlen.
- Das ION Power Grid ist ein intelligentes Stromnetz, das Energie effizient verteilt, erneuerbare Energien integriert und durch moderne Technologien wie KI den Energieverbrauch optimiert und nachhaltiger gestaltet. Es nutzt KI zur Optimierung der Energieverteilung, zur Integration erneuerbarer Energiequellen wie Solar- und Windkraft und zum Ausgleich von Lastspitzen durch intelligentes Lastmanagement aus.
Wie lange werden wir auf nachhaltige KI warten müssen?
Bis zur weltweiten Verbreitung umweltfreundlicher KI-Systeme ist es jedoch noch ein weiter Weg. Ein grundlegendes Problem ist die oft fehlende Transparenz beim Betrieb von KI: Viele Unternehmen veröffentlichen keine Daten über die Umweltauswirkungen ihrer Systeme. Eine mögliche Lösung wäre die Einführung strenger Standards und Richtlinien für den zulässigen Energieverbrauch von KI. Auch KI-Energieeffizienzlabels, ähnlich den Energieeffizienzlabels für andere Geräte und Gebäude, könnten zu mehr Initiative bei der Entwicklung energieeffizienterer KI führen.
KI ist somit nicht grundsätzlich umweltschädlich, sondern ihr Umweltentlastungspotenzial hängt stark davon ab, wie sie entwickelt und eingesetzt wird. Durch die Kombination von energieeffizienten Technologien, erneuerbaren Energien und bewussten Designprinzipien kann KI nicht nur nachhaltiger werden, sondern auch aktiv zur Lösung globaler Umweltprobleme beitragen.