Lohnt es sich für Deutschland und Europa, ein mächtiges KI-Sprachmodell wie GPT-3 nachzubauen beziehungsweise einen Gegenentwurf selbst zu entwickeln? "Auf jeden Fall", sagt Jörg Bienert als Vorsitzender des KI-Bundesverbands e. V. gegenüber c’t. Dieser Schritt sei sehr wichtig, um nicht den Anschluss zu verlieren. Mit dem Generative Pre-trained Transformer 3 (GPT-3) hat das amerikanische Unternehmen OpenAI vor einem Jahr ein sehr großes KI-Sprachmodell vorgestellt. Es basiert auf einem gigantischen neuronalen Netz mit 96 Schichten und 175 Milliarden Parametern. Für das Training der KI setzten die Entwickler 570 Gigabyte Texte aus der englischsprachigen Wikipedia ein, aus Bücherdatensätzen und Webtexten. Lizenziert und vermarktet von Microsoft macht GPT-3 Furore, weil es eigenständig glaubhaft klingende Texte formuliert. Aber große KI-Sprachmodelle wie GPT-3 sind weit mehr als nur Generatoren von Texten mit zweifelhafter Glaubwürdigkeit. "Sie sind ein Gamechanger", sagt Bienert. "Rund um GPT-3 sind bereits etwa 300 Produkte entstanden und Start-ups gegründet worden." Unter den vielfältigen neuen Anwendungen befinden sich beispielsweise Chat-Programme für Kundendialog im Plauderton, Suchmaschinen, Übersetzungsdienste, Code-Generatoren für Softwareentwickler und sogar eine GPT-3-Variante von OpenAI namens Dall-e, die eigenständig Bilder zu textlichen Beschreibungen erzeugt. In diesem Jahr wurde bekannt, dass Forscher in China an der Beijing Academy of Artificial Intelligence (BAAI, Peking) ein vergleichbares KI-Modell entwickelt haben. Wudao 2.0 soll ebenfalls menschlich klingende Texte formulieren, auf Chinesisch. Zudem kann es Bilder beschreiben und selbst Bilder zu Beschreibungen in natürlicher Sprache erzeugen. Laut chinesischen Quellen umfasst das zugrundeliegende neuronale Netz sogar 1,75 Billionen Parameter. Hohe Rechenleistung gefordert KI-Modelle dieser Größenordnung sind nicht nur eine Herausforderung für die KI-Forschung, sie erfordern zudem eine beachtliche Rechenleistung. Beispielsweise hat Microsoft gemeinsam mit OpenAI eigens einen Top-5-Supercomputer mit der Leistung von 10.000 GPUs aufgebaut. Auch Mitarbeiter des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme (IAIS) forschen an Transformer-Modellen, relativ jungen Deep-Learning-Architekturen, auf denen zum Beispiel GPT-3 basiert. "KI-Sprachmodelle, die sich anhand ungelabelter Textdaten trainieren lassen und dann derart leistungsfähige Anwendungen möglich machen, die müssen wir einfach haben", schwärmt Dr. Joachim Köhler, Leiter des IAIS-Kompetenzzentrums NetMedia, gegenüber c’t. Aber dafür benötigen die Forscher große Rechenkapazitäten. Köhler veranschlagt etwa 3000 bis 5000 GPUs, um ein Transformer-Modell wie GPT-3 zu trainieren. Per Gaia-X anbinden Am 30. Juni hat das Bundeswirtschaftsministerium die Projektskizze "OpenGPT-X" in sein Gaia-X-Projekt einer europäischen Dateninfrastruktur aufgenommen. Das Ziel: Über einen Gaia-X-Knoten sollen schließlich moderne Sprachmodelle für europäische Unternehmen zur Verfügung stehen. Die Konsortialführung übernimmt das Fraunhofer IAIS zusammen mit dem Fraunhofer IIS (Institut für Integrierte Schaltungen). Ohne dieses Projekt könnten europäische KI-Unternehmen in Zukunft nur noch die Frontends für APIs aus den USA aufsetzen, sagt Bienert. Damit gerieten sie "in eine Abhängigkeit wie bei der Google-Suchmaschine." Darüber hinaus erinnert Köhler an europäische Werte und ganz konkret an die Einhaltung etwa der Datenschutz-Grundverordnung (DSGVO). Nur im Rahmen einer europäischen KI-Technik ließen sich Datenschutz und andere europäische Vorstellungen umsetzen. In c’t 16/2021 haben wir das neue kachelfreie Windows 11 getestet, erläutern dessen Systemanforderungen, den neuen Store und wie Sie die neue Vorabversion kostenlos selbst ausprobieren. Warum Quantencomputer die klassische Verschlüsselung bedrohen, zeigen wir in einem weiteren Schwerpunkt auf. Außerdem widmen wir uns dem Alleskönner USB-C, testen lange Kabel, Kopfhörer mit Geräuschunterdrückung und Apps fürs Rückentraining. Ausgabe 16/2021 finden Sie ab dem 6. Juli im Heise-Shop und am gut sortierten Zeitschriftenkiosk. (agr) Zur Startseite

weiterlesen: RSS Quelle öffnen