Neuer Ollama Server mit 2× H100 für LLMs & Embeddings
Die KI-Werkstatt bietet ab sofort einen neuen Server mit zwei Nvidia H100-GPUs und Ollama-API für die Nutzung von lokalen LLMs und Embedding-Modellen. Ideal für studentische Projekte ohne externe API-Kosten.
Wir freuen uns, einen neuen leistungsstarken Server in der KI-Werkstatt vorstellen zu können:
Ausgestattet mit zwei Nvidia H100 GPUs und einer Ollama-API, steht dieser nun für alle Mitglieder*innen der HTW zur Verfügung.
Mit dieser Infrastruktur lassen sich verschiedenste aktuelle Large Language Models (z. B. DeepSeek-R1, LLaMA3, Gemma3 etc.) lokal betreiben.
💡 Vorteile
- Kein API-Schlüssel bei OpenAI oder Antropic nötig
- Lokale, datenschutzgerechte Nutzung
- Höchste Rechenleistung durch 2× Nvidia H100
📌 Für wen?
Studierende, die LLMs oder Embedding-Modelle in ihren Projekten, Seminararbeiten oder Forschungsprojekten einsetzen möchten. Verschiedene Modelle können je nach gewünschtem Einsatzgebiet ausgewählt und heruntergeladen werden.
🚀 Neue Möglichkeiten
- Chat mit LLM
- Text-Vervollständigung
- Funktions-Aufrufe
- Strukturierte Antwortdaten (json)
- Multimodal (Bildverarbeitung)
- Text-Embeddings
