Generative Künstliche Intelligenz (GenAI) hat als Technologie über ihre prominenteste Anwendung ChatGPT breite Bekanntheit erlangt. Mittlerweile hat sich der Hype gelegt und die dahinterliegende Methodik muss sich einer kritischen Befragung stellen. In der Praxis begeistert die Technologie mit überraschend vielfältigen Anwendungsfällen, die jedoch überraschend häufig am Ende doch enttäuschen.

‍

‍Ein Blick auf die Qualität von Large Language Models ist dringend nötig: als prominentes Qualitätsproblem ist die Neigung von GenAI-Modellen zu Halluzinationen bekannt: ChatGPT lügt manchmal dreist. Danebengibt aber es zahlreiche weitere Aspekte, z.B. Datenbias, unplausible Antworten, fehlende Interpretierbarkeit, Kontrolle von Datenschutz und Urheberrecht, irreführende/ sprachlich unangemessene Antworten, aber auch technische Fragen der Skalierung, Performanz sowie monetäre Faktoren

‍

Das Projekt QuaLlamA - Qualität von Large Language Models für praxisnahe Applikationen - strebt eine systematische Auseinandersetzung mit der Frage der Qualitätsbewertung und-Sicherung des Outputs von GenAI unter realistischen, unternehmensnahen Bedingungen an. Der Schwerpunkt soll dabei auf realen Anwendungsfällen aus dem Produktionsbereich liegen, vorzugsweise im direkten Feedback-Austausch mit institutionellen oder unternehmerischen Entwicklungspartnern. Mögliche Anwendungsfälle können z.B. sein

• komplexe Software designen, programmieren und testen,
• technische Designs für Produkte (Maschinen, Bauteile) zeichnen,
• synthetische Daten für biomedizinische Fragen erstellen,
• Testfälle für Materialstudien simulieren oder
• neue Testfälle für z.B. Roboter oder Automotive-Systeme erstellen.

‍

Unsere Forschung kreist um folgende Fragen:

• Wie kann Qualität für eine konkrete Anwendung im Unternehmenskontext realistisch gemessen werden?
• Wie beeinflusst die Komplexität, Heterogenität, Modalität der Daten die Performance des ausgewählten Modells?
• Wie zuverlässig sind bestehende technische Benchmarks für diese echten Anwendungsfälle?
• Welche technischen, organisatorischen, kulturellen Parameter der tatsächlichen Implementierung des Modells unter Produktionsbedingungen beeinflussen die finale, gefühlte Qualität des Endanwenders?
• Wie kann man das Ganze unter realen, zeitlich dynamischen Rahmenbedingungen am besten in Wirkung bringen?

‍

Die langfristige Zielstellung des Projektes ist

• ein tiefgehendes Verständnis operativer Faktoren auf die Performance von GenAI-Systemen, welche z.B. die Basis für eine geeignete Zertifizierung und Prüfung derartiger Systeme bieten kann,
• ein umfassendes strategisches Vorgehensmodelle und Best Practices für Planung und Design derartiger Systeme sowie
• ein reales, technisches Framework in der KI-Werkstatt der HTW als Anwendung.

‍