Seit der Einführung des Machine-Learning-Sprachmodells GPT-3 wächst der Markt mit neuen Geschäftsmodellen zur automatischen Texterstellung und Texterkennung. GPT-3 wurde in den USA entwickelt und ist in der Lage selbstständig Texte zu verfassen und Dialoge zu führen – Es gilt als Durchbruch der Technologie. Welche Potenziale und Herausforderungen gibt es für deutsche und europäische Unternehmen, die große KI-Modelle in der Praxis implementieren wollen? Darüber sprechen wir im Interview mit Dr. Johannes Otterbach, Vice President Machine Learning Research beim Merantix Labs. Das Unternehmen baut KI-Lösungen für deutsche und europäische KMUs und beteiligt sich an der europäischen LEAM-Initiative (Large European AI Models), die auch eco – Verband der Internetwirtschaft unterstützt.
Welches Potenzial haben groß-angelegte KI-Sprachmodelle für die Internetwirtschaft in Deutschland und Europa?
Otterbach: Aktuell sind große Sprachmodelle in der Anwendung in Deutschland noch nicht sehr weit verbreitet, weil uns hier die Infrastruktur dafür fehlt. Ich glaube aber, dass diese Entwicklung kommen wird und kommen muss. Das Besondere an den KI-Modellen ist, dass sie die Fähigkeit haben viele verschiedene Aufgaben zu lösen in unterschiedlichen Anwendungsfällen und Branchen. Hier findet ein Paradigmenwechsel im Bereich Machine Learning statt, denn zuvor wurden einzelne Modelle für einzelne Aufgaben entwickelt. Was wir in der Forschung herausgefunden haben, gilt es nun in der Wirtschaft umzusetzen. In den nächsten Jahren werden uns die Fachkräfte in einigen Wirtschaftsbereichen fehlen. Um die Menschen zu entlasten, werden wir dadurch einige Prozesse automatisieren und mit KI unterstützen müssen. Mit der LEAM-Initiative wollen wir Vertrauen in die Technologie aufbauen und Unternehmen unterstützen, KI-Sprachmodelle zu trainieren und sie in die Praxis umzusetzen.
Merantix beteiligt sich auch in der LEAM-Initiative (Large European AI Models), die groß angelegte KI-Modelle nach europäischen Standards entwickeln möchte. Warum sind eigene europäische Modelle so wichtig?
Otterbach: In der LEAM-Initiative arbeitet Merantix in der Taskforce „Data & Algorithms“. Dort untersuchen wir bestehende und zukünftige Modelle und Datensätze, die wir mit Anwendungspartnern trainieren möchten. Diese müssen Urheberrechts- sowie DSGVO-konform sein und den europäischen Werten und Gesetzen entsprechen. Außerdem setzen wir auf Vielsprachigkeit und trainieren die Modelle durch Self-supervised learning gezielt darauf, viele verschiedene Sprachen ganzheitlich zu berücksichtigen. Diese Standards gibt es bei GPT-3 beispielsweise noch nicht, da das Sprachmodell vorwiegend auf weit verbreiteten Sprachen wie zum Beispiel Englisch trainiert wurde. Bei Sprachen, die weniger Menschen sprechen und von denen es in Europa sehr viele gibt, ist die Anwendung nur eingeschränkt möglich.
Welche Aspekte berücksichtigt ihr noch in der Forschung und Erstellung der Modelle und Datensätze für die Anwendung?
Otterbach: Viele Datensätze haben einen bias (Verzerrung) der Daten. Der kann sowohl systematisch als auch zufällig entstehen, beispielsweise bei der Stichprobenerhebung oder auch durch unbewusste Denkmuster. Wenn wir Modelle auf Daten trainieren, die einen bias haben, dann würden diese Modelle den bias reflektieren. Aktuell untersuchen wir deshalb, welche Datensätze wir bereits nutzen können für große KI-Modelle und wie wir in diesen Datensätzen den bias abschwächen können. Auch den Fairness-Aspekt berücksichtigen wir bei der Erstellung der Modelle.
In welchen Bereichen können uns groß angelegte intelligente Sprachsysteme unterstützen?
Otterbach: Wir verbringen heutzutage rund 28 Prozent unserer Arbeitszeit mit der Beantwortung von E-Mails. Das ist rund ein Viertel unserer Arbeit und damit wirklich relativ viel. Ein Großteil dieser Zeit wäre mit Spracherkennung und Sprachmodellen automatisierbar. Die E-Mail ist dabei nur ein Beispiel, das aber sehr viele Menschen und Unternehmen betrifft. Ich denke es gibt da einen großen Markt und viel Potenzial, das wir momentan noch nicht nutzen. Große Sprachmodelle haben bei unstrukturiertem Text einen enormen Vorteil gegenüber bisherigen statistischen Modellen und Regel-basierten Systemen.
Einerseits verbrauchen groß angelegte KI-Modelle viel Rechenleistung und Energie. Andererseits können Sie aber auch CO2-Emissionen einsparen und zur Nachhaltigkeit beitragen. Wie etablieren Unternehmen ressourcenschonende Algorithmen und KI-Modelle und worauf müssen sie dabei achten?
Otterbach: Große KI-Modelle können viele verschieden Aufgaben gleichzeitig lösen, im Gegensatz zu vielen verschiedenen kleinen Modellen, die jeweils nur auf eine Aufgabe trainiert werden. Dadurch amortisieren sich die Kosten sowie auch die Rechenleistung und Energie. Es gibt verschiedene Anzeichen dafür, dass der CO2-Fußabdruck für ein großes Modell, das viele Aufgaben löst, kleiner ist als der CO2-Fußabdruck vieler kleiner Modelle zusammen. Darüber hinaus werden die Algorithmen selbst auch über die Zeit effizienter, je weiter sich die Technologie entwickelt. Wenn Unternehmen Geschäftsmodelle mit großem Mehrwert anbieten und diese breit auf viele verschiedene Anwendungsfälle und Industriebereiche einsetzen, dann können die Algorithmen zur Effizienz beitragen.
Vielen Dank für das Gespräch und das Engagement in der LEAM-Initiative!
Dr. Johannes Otterbach hat an der Technischen Universität Kaiserslautern in Physik promoviert. Anschließend spezialisierte er sich auf Big Data und Machine Learning, bei Firmen wie Palantir und OpenAI, und fördert seit 2021 bei Merantix den Wissenstransfer von öffentlichen Forschungsprojekten in die Praxis.
