Willkommen zur 3. KI Werkbank 2026. In der 1. Werkbank haben Sie mit Docker das technische Fundament gelegt. In der 2. Werkbank wurden darauf erste KI Komponenten aufgebaut: Chat Oberflächen, Automatisierungs Tools und kleine Datenbanken, die Informationen strukturiert ablegen und nutzbar machen. In der 3. Werkbank kommt nun der eigentliche Motor hinzu: lokale Open Source KI Modelle, die direkt auf dem eigenen Notebook oder in der vorbereiteten lokalen Umgebung betrieben werden können.

Gemeinsam betrachten wir unterschiedliche Modelltypen und ihre jeweilige Funktion im lokalen KI Stack: Sprachmodelle für Chat und Assistenz, Embedding Modelle für Suche und Wissenszugriff, Modelle zur Verarbeitung von Dokumenten sowie, soweit technisch sinnvoll und auf den Geräten möglich, weitere spezialisierte Modelle für lokale KI Anwendungen. Dabei geht es nicht nur um Installation, sondern auch um ein praktisches Verständnis: Welche Aufgabe erfüllt welches Modell? Welche Hardware wird benötigt? Wo liegen die Grenzen lokaler Systeme? Und wie werden Modelle mit den bereits eingerichteten Werkzeugen verbunden?

Wichtiger Hinweis: Die Teilnahme an der 3. KI Werkbank ist für Personen vorgesehen, die bereits an der 1. und 2. KI Werkbank 2026 teilgenommen haben. So stellen wir sicher, dass alle Teilnehmenden über eine vorbereitete Docker Umgebung und die bereits eingerichteten Komponenten verfügen.

Bringen Sie das Windows Notebook mit, auf dem Sie bereits in den vorherigen Werkbanken gearbeitet haben. Je nach Leistungsfähigkeit des Geräts können einzelne Modelle direkt lokal in Betrieb genommen werden. Bei leistungsschwächeren Geräten wird gezeigt, wie die Einbindung grundsätzlich funktioniert und welche technischen Voraussetzungen für den produktiven lokalen Betrieb nötig sind.
Durch den Technologie Check führt Michael Berndt von it.emsland.

• Kurze Auffrischung der in Werkbank 1 und 2 aufgebauten lokalen KI Umgebung
• Überblick über verschiedene Typen lokaler Open Source KI Modelle und ihre Aufgaben im KI Stack
• Einordnung von Sprachmodellen, Embedding Modellen und spezialisierten Modellen für lokale Anwendungen
• Installation und Inbetriebnahme ausgewählter Modelle, abhängig von den technischen Möglichkeiten der mitgebrachten Notebooks
• Verbindung lokaler Modelle mit den bereits eingerichteten Chat Oberflächen, Automatisierungs Tools und Datenbanken
• Praktische Einschätzung von Hardware Anforderungen, Modellgrößen, Geschwindigkeit, Qualität und Grenzen lokaler KI Systeme

• Sie verstehen, welche Rolle unterschiedliche Modelltypen in einem lokal laufenden KI Stack übernehmen
• Sie können einschätzen, welche lokalen Open Source Modelle für Ihre eigenen Anwendungsfälle geeignet sind
• Sie können ausgewählte Modelle in Ihrer bestehenden Umgebung einbinden und testen
• Sie verfügen über eine erweiterbare Grundlage für einen vollständig lokal laufenden KI Stack, von der Benutzeroberfläche über Automatisierung und Datenhaltung bis zum lokalen KI Modell

• Bitte bringen Sie das Windows Notebook mit, das Sie bereits in der 1. und 2. KI Werkbank genutzt haben

  Docker sollte installiert und einsatzbereit sein

  Die in Werkbank 2 eingerichteten Komponenten sollten noch vorhanden / lauffähig sein

  Installationen und Anpassungen auf dem Gerät müssen uneingeschränkt möglich sein, Admin Rechte erforderlich

• Teilnahme an der 1. und 2. KI Werkbank 2026
• Grundkenntnisse in Docker und Docker Compose sind hilfreich
• Technisches Interesse am lokalen Betrieb von KI Systemen ist ausreichend
• Programmierkenntnisse sind nicht zwingend erforderlich