QuaLlamA

Generative Künstliche Intelligenz hat viele Anwendungen - wir sichern die Qualität.

Titel des Projektes:

QuaLlamA - Qualität von LLMs für praxisnahe Applikationen

Ansprechpartner:

Christina Kratsch

Zur HTW Projekt-Seite

No items found.

Generative Künstliche Intelligenz (GenAI) hat als Technologie über ihre prominenteste Anwendung ChatGPT breite Bekanntheit erlangt. Mittlerweile hat sich der Hype gelegt und die dahinterliegende Methodik muss sich einer kritischen Befragung stellen. In der Praxis begeistert die Technologie mit überraschend vielfältigen Anwendungsfällen, die jedoch überraschend häufig am Ende doch enttäuschen.

‍

‍Ein Blick auf die Qualität von Large Language Models ist dringend nötig: als prominentes Qualitätsproblem ist die Neigung von GenAI-Modellen zu Halluzinationen bekannt: ChatGPT lügt manchmal dreist. Danebengibt aber es zahlreiche weitere Aspekte, z.B. Datenbias, unplausible Antworten, fehlende Interpretierbarkeit, Kontrolle von Datenschutz und Urheberrecht, irreführende/ sprachlich unangemessene Antworten, aber auch technische Fragen der Skalierung, Performanz sowie monetäre Faktoren

‍

Das Projekt QuaLlamA - Qualität von Large Language Models für praxisnahe Applikationen - strebt eine systematische Auseinandersetzung mit der Frage der Qualitätsbewertung und-Sicherung des Outputs von GenAI unter realistischen, unternehmensnahen Bedingungen an. Der Schwerpunkt soll dabei auf realen Anwendungsfällen aus dem Produktionsbereich liegen, vorzugsweise im direkten Feedback-Austausch mit institutionellen oder unternehmerischen Entwicklungspartnern. Mögliche Anwendungsfälle können z.B. sein

komplexe Software designen, programmieren und testen,
technische Designs für Produkte (Maschinen, Bauteile) zeichnen,
synthetische Daten für biomedizinische Fragen erstellen,
Testfälle für Materialstudien simulieren oder
neue Testfälle für z.B. Roboter oder Automotive-Systeme erstellen.

‍

Unsere Forschung kreist um folgende Fragen:

Wie kann Qualität für eine konkrete Anwendung im Unternehmenskontext realistisch gemessen werden?
Wie beeinflusst die Komplexität, Heterogenität, Modalität der Daten die Performance des ausgewählten Modells?
Wie zuverlässig sind bestehende technische Benchmarks für diese echten Anwendungsfälle?
Welche technischen, organisatorischen, kulturellen Parameter der tatsächlichen Implementierung des Modells unter Produktionsbedingungen beeinflussen die finale, gefühlte Qualität des Endanwenders?
Wie kann man das Ganze unter realen, zeitlich dynamischen Rahmenbedingungen am besten in Wirkung bringen?

‍

Die langfristige Zielstellung des Projektes ist

ein tiefgehendes Verständnis operativer Faktoren auf die Performance von GenAI-Systemen, welche z.B. die Basis für eine geeignete Zertifizierung und Prüfung derartiger Systeme bieten kann,
ein umfassendes strategisches Vorgehensmodelle und Best Practices für Planung und Design derartiger Systeme sowie
ein reales, technisches Framework in der KI-Werkstatt der HTW als Anwendung.

‍

Testimonials

Die Zusammenarbeit mit der KI-Werkstatt bereichert meine Lehre und die Projekte meiner Studierenden in besonderem Maße. Insbesondere der Lehrbaustein „Grundlagen der Künstlichen Intelligenz“ vermittelt nicht nur fundiertes Wissen über Funktionsweisen und Herausforderungen von KI, sondern regt auch zur kritischen Reflexion an. Die Infrastruktur der KI-Werkstatt ermöglicht es uns, innovative Projekte effizient umzusetzen – sei es im Rahmen einer Kooperation mit dem Staatlichen Museum Schwerin oder als Aussteller auf der Campus Exhibition des Ars Electronica Festivals, an dem wir als Studiengang seit vier Jahren teilnehmen. Die Unterstützung durch die KI-Werkstatt ist äußerst inspirierend und von großer fachlicher Kompetenz geprägt – ein echter Motor für Lehre und Forschung.

Prof. Andreas Ingerl

Fachbereich 5

Ohne die KI-Werkstatt hätte ich den Einstieg in Machine Learning nicht geschafft. Während meiner Bachelorarbeit stand ich vor der Herausforderung, einen CNN-Klassifikator für endoskopische Bilder zu trainieren, doch mein eigener Rechner war dafür völlig unzureichend und externe Anbieter wie Colab wären für mich nicht finanzierbar gewesen. Die Infrastruktur der KI-Werkstatt hat es mir ermöglicht, mit GPU-Ressourcen zu arbeiten, meine Experimente frei durchzuführen und dabei wertvolle Praxiserfahrung zu sammeln. Dadurch wurde meine Bachelorarbeit überhaupt erst realisierbar und gleichzeitig der Grundstein gelegt, dass ich heute aktiv im Bereich Machine Learning tätig bin.

Abdelrahman Elsharkawi

Fachbereich 2

Wir hatten eine Blockveranstaltung, in der unsere Studierenden Ideen für den Einsatz von KI in der Immobilienwirtschaft entwickeln sollten. Wir haben Ricardo und Kollegen in die Blockveranstaltung eingeladen und die Mitarbeiter der KI-Werkstatt haben dann gemeinsam mit den Studierenden über die Grundlagen und Funktionsweise von KI gesprochen. Die Ergebnisse waren sehr gut - eine Ursache dafür war sicherlich, dass die Studierenden durch den Input der KI-Werkstatt mehr über die Grenzen von KI erfahren haben und den Einsatz so besser einschätzen konnten. Die Lehrinhalte haben tolle Impulse gegeben, die es auch nicht-technischen Studiengängen erlauben, einen Einblick in die Grundlagen von KI zu erlangen.

Prof. Dr. Florian Koch

Fachbereich 3

In der Hochschullehre stehen Lehrinhalte und Lernformen vor einer Transformation durch Maschinelles Lernen oder Künstliche Intelligenz. Die KI-Werkstatt macht diese komplexen Begriffe erfahrbar und vermittelt die Prinzipien von KI-Modellen auf eine leichte, verständliche und spielerische Weise. In meinem Seminar zum Thema „Bildgenerierende Künstliche Intelligenz” waren die Workshops der KI-Werkstatt zum Projektstart eine besonders wichtige und bereichernde Erfahrung für die Studierenden. Sie halfen dabei, die theoretischen Grundlagen mit praktischen Anwendungen zu verknüpfen und sensibilisierten die Teilnehmenden für die ethischen Fragestellungen, die mit dem Einsatz von KI einhergehen. Insgesamt tragen diese Workshops dazu bei, dass Studierende nicht nur als Nutzer*innen, sondern auch als kritische und reflektierte Gestalter*innen der digitalen Zukunft agieren können.

Prof. Henrik Spohler

Fachbereich 5

In meiner Promotion beschäftige ich mich mit der Frage, wie große KI-Modelle in spezialisierte Anwendungsbereiche wie Mikroskopie in der Biologie oder Robotik übertragen werden können. Eine der größten Herausforderungen ist dabei, diese sehr rechenintensiven Modelle auf ihre Zuverlässigkeit und Robustheit zu testen. Dank der Infrastruktur der KI_Werkstatt kann ich moderne Vision-Language-Models auf leistungsstarken Multi-GPU-Systemen evaluieren und teilweise sogar weiter finetunen. Diese Experimente wären ohne die bereitgestellte Hardware überhaupt nicht realisierbar. So gewinne ich wertvolle Erkenntnisse darüber, wie sich große Modelle mit wenig Daten anpassen lassen und wo ihre Stärken und Schwächen liegen. Die KI_Werkstatt trägt damit entscheidend dazu bei, dass ich meine Forschung deutlich schneller und fundierter voranbringen kann.

Mario Koddenbrock

Fachbereich 2

Da die private Hardware der Studierenden nicht für alle für die Bachelorarbeit gewünschten Experimente ausreichend war, machte ich Sie auf die Möglichkeiten der KI-Werkstatt aufmerksam. Die erste Idee, einen laptop zu leihen, war aufgrund mangelnder Geräte nicht zu realisieren. Der zweite (viel bessere) Ansatz, das JupyterHub zu nutzen, war überraschenderweise völlig problemlos. (Das kenne ich auch anders.) Zukünftig würde ich deshalb sehr gerne auch innerhalb des Masterstudiengangs QFDS einzelne kleinere Projekte innerhalb eines Kurses auf dem JupyterHub realisieren lassen und hoffe sehr, dass das auch weiterhin möglich sein wird.

Prof. Dr. Sunna Torge

Fachbereich 4

Bei meiner Arbeit mit Vision-Language-Models (VLMs) für meine Bachelorarbeit stand ich vor der Herausforderung, dass diese Modelle durch die Kombination von Bild- und Texteingaben extrem rechenintensiv sind. Auf meinem Laptop dauerten die Benchmarks mit Datensätzen von bis zu 50.000 Bildern schlicht zu lange, um praktikabel zu sein. Durch die Unterstützung der KI-Werkstatt konnte ich meine Codebasis mit wenigen Integrationsschritten auf den GPU-Cluster übertragen. Die leistungsstarke Infrastruktur ermöglichte es mir, die Laufzeiten meiner Benchmarks drastisch zu verkürzen und dadurch viel effizienter zu arbeiten. So konnte ich meine Experimente in einem realistischen Zeitrahmen durchführen und wertvolle Ergebnisse erzielen, die auf meinen persönlichen Geräten kaum möglich gewesen wären.

Rudolf Hoffmann

Fachbereich 2

Starte dein KI-Projekt mit Uns

Mit der KI-Werkstatt schafft die HTW Berlin einen Ort für das gemeinsame Forschen, Lehren und Anwenden von KI-Technologie auf aktuelle Praxisprobleme. Ziel ist u.a. die Schaffung einer hochschulweiten Infrastruktur, welche die Verwendung und Weiterentwicklung aktueller KI-Algorithmen auf höchstem wissenschaftlichem Niveau ermöglicht, sowie die Entwicklung eines KI-Modulbaukastens um die KI-Lehre interdisziplinär fördern.

Kontaktiere Uns