Interview mit Prof. Alexander Löser von der Berliner Hochschule für Technik (BHT)
Text-basierte Informationssysteme helfen uns in allen Bereichen, in denen Kommunikation zwischen Menschen untereinander und zwischen Menschen und Maschinen geschieht. Besonders wenn es darauf ankommt, maschinell viele Texte zu lesen und zu verarbeiten, kommen automatisierte KI-Sprachmodelle zum Einsatz. Vor welchen Herausforderungen stehen Unternehmen, die intelligente Modelle in ihr Geschäft integrieren wollen? Und wie lassen sich diese Herausforderungen aus Sicht der Wissenschaft lösen? Im Interview sprechen wir mit Prof. Alexander Löser, der an der Berliner Hochschule für Technik (BHT) Text-basierte Informationssysteme und maschinelles Lernen erforscht, über große KI-Sprachmodelle und die europäische LEAM-Initiative.
Prof. Löser, Sie erforschen seit fast 10 Jahren maschinelles Lernen. In welchen Bereichen können uns Text-basierte Informationssysteme besonders helfen?
Löser: Die Effektivität und Robustheit der Modelle sind in den letzten 10 Jahren deutlich gestiegen. Mittlerweile können wir bei Sprachmodellen viel besser in Szenarien mit wenigen und raren Daten umgehen. Das kann in ganz unterschiedlichen Bereichen sein. Beispielsweise in der Medizin, im Maschinenbau, Supply-Chain Management oder auf Social Media Plattformen und im Entertainment Bereich.
Welchen Fokus setzt die Wissenschaft auf große KI-Sprachmodelle und in welchen Bereichen gibt es Ihrer Meinung nach noch einen großen Erkenntnisbedarf?
Löser: Wir beschäftigen uns unter anderem mit der Anpassung vortrainierter Sprachmodelle auf bestimmte Domänen, wie Health oder Supply Chain Management. Vor kurzem wurde ein Sprachmodell Bloom mit 176 Milliarden Parametern veröffentlicht. Es ist Open Source verfügbar und ermöglicht Unternehmen eine Anpassung auf eigenen Servern. Von diesen vortrainierten Sprachmodellen brauchen wir allerdings noch viel mehr, gerade in Deutschland und Europa, denn Bloom gibt es leider nicht in Deutsch und anderen europäischen Sprachen. Multilingualität, Multimodalität, Robustheit und Adaptivität sind die dringendsten Aspekte an großen Sprachmodellen, die wir in den nächsten Jahren weiter erforschen und verbessern müssen.
Wie kann man das Wissen aus der Forschung besser in die Praxis transferieren?
Löser: Die LEAM-Initiative fördert insbesondere die Verfügbarkeit von großen KI-Sprachmodellen für kleine und mittelständische Unternehmen (KMU). Dazu entwickelt die Initiative vortrainierte multilinguale Sprachmodelle, mit denen Unternehmen ihre eigenen Modelle trainieren und auf ihre jeweilige Domäne mit wenig Aufwand anpassen können sollen. Diese Anpassung auf eine Fachdomäne ist jedoch immer noch eine große Herausforderung, einerseits im Bereich Methoden, aber auch im Zugriff auf die oft wenigen Trainingsdaten. Die deutsche Wirtschaft ist besonders stark in Industrie-Branchen wie Maschinenbau, Automotive oder auch in der Chemie. Vortrainierte KI-Sprachmodelle müssen in diesen Branchen für Unternehmen einfacher verfügbar sein. Modelle wie Bloom zielen oft noch auf den B2C-Bereich ab, für die typisch europäischen B2B-Domänen besteht hier noch ein deutlicher Bedarf.
Vor welchen Herausforderungen stehen deutsche Unternehmen, die vortrainierte Sprachmodelle einsetzen und anpassen möchten?
Löser: Viele Unternehmen wissen noch nicht genau, wo und wie sie Verfahren des maschinellen Lernens effektiv einsetzen können, um Kosten zu sparen und Märkte zu erobern. Wenn Unternehmen beispielsweise Pumpen oder Messtechnik produzieren, ist ihr Kerngeschäft die produzierte Hardware. Vortrainierte Sprachmodelle kommen jedoch oft in umliegenden Geschäftsbereichen vor, wie im Einkauf, in der Lieferantenauswahl, in der Marktbeobachtung oder auch im Service-Bereich. Diese umliegenden Geschäftsbereiche sind es jedoch genau, die ihnen große Wettbewerbsvorteile, wie eine höhere Kundenbindung, bringen können.
Bedeutet das nicht erstmal hohe Kosten für Unternehmen?
Löser: Natürlich sind Sprachmodelle ein signifikantes Investment, dessen Kosten Unternehmen wieder reinholen müssen. Diese Investitionsbereitschaft ist aktuell in vielen Märkten noch gering, vor allem bei kleinen und mittelständischen Unternehmen. Wesentliche Kosten entstehen zu rund 70 Prozent in der Datenbeschaffung und Datenbereinigung. Der restliche Aufwand liegt dann in der Fehleranalyse, Anpassung der Modelle und im Deployment in die robuste Anwendung. Zur Kostenreduktion sollten Unternehmen daher günstig Daten beschaffen oder bessere Verfahren entwickeln, um ihre Daten zu bereinigen und Modelle zu deployen, sogenanntes MLOPs. Hier kommt der Daten-zentrische Ansatz der LEAM-Initiative ins Spiel. Dazu gehören zum Beispiel vortrainierte und leicht anpassbare Modelle zum Training oder einfach zu nutzende Infrastrukturen für Training und Deployment. Durch die Kostenreduktion für Datenprodukte von LEAM werden einerseits weniger Spezialisten benötigt und andererseits neue digitale Geschäftsmodelle in kostensensitiven Nischenmärkten ermöglicht.
Welche technischen Innovationen werden im Maschinenbau und Automotive-Bereich mithilfe von Sprachmodellen auf uns zukommen?
Löser: Sprachmodelle können uns bei der gesamten Wertschöpfungskette unterstützen: Von der Idee und dem Design einer Maschine, über die Beschaffung der Teile bis hin zum Vertrieb und der Interaktion mit Kundinnen und Kunden. Nehmen wir das Beispiel Auto. Durch maschinelles Lesen von entsprechenden Kundenmeinungen könnte ein System uns sagen, welche Eigenschaften eines Autos beliebt sind und welches Auto ein Hersteller bauen soll. Es könnte Lieferkettenprobleme schon vorab analysieren und uns in der Beschaffung der Teile unterstützen. In modernen Autos können Fahrende schon heute über Bildschirm und Lautsprecher auf Angebote hingewiesen werden oder Business-Kommunikation und E-Mails bearbeiten. Bei der Reparatur könnten weniger spezialisierte Mitarbeitende zudem Fragen an einen Chat-Bot stellen, der ihnen Fachwissen liefert oder sogar Diagnosen stellt.
Vielen Dank für das Gespräch, Prof. Löser!
Alexander Löser leitet das Forschungszentrum Data Science der BHT in Berlin. In der Forschungsgruppe DATEXIS untersucht er Natural Language Processing (NLP), Machine Learning und unterstützt zudem die LEAM-Initiative.
