Lokale LLMs mit Ollama
Lokale LLMs ermöglichen es Unternehmen, KI-Funktionen vollständig auf eigener Infrastruktur zu betreiben. Ollama ist die einfachste Lösung, um Modelle wie Llama, Mistral und Phi lokal auszuführen. Kein Datenverlust durch externe APIs, keine Cloud-Abhängigkeit, volle Kontrolle. Sie lernen, wie lokale LLMs eingerichtet, mit Open-WebUI bedient und in Unternehmensanwendungen integriert werden.
Ziele
Sie erwerben das Wissen, lokale LLMs mit Ollama in Ihrem Unternehmen einzurichten und zu betreiben. Sie lernen, wie Open-Source-Modelle ausgewählt, betrieben und evaluiert werden, wie Datensouveränität durch lokale Ausführung gewährleistet wird und welche Anwendungsfälle für lokale LLMs besonders geeignet sind.
Behandelte Themen
Die Module im Überblick
Modul 1: Lokale LLMs und Datensouveränität
- Warum lokale LLMs: DSGVO, Drittland-Transfer und Geschäftsgeheimnis-Schutz
- Open-Source-LLM-Ökosystem: Llama, Mistral, Phi, Gemma und Qwen
- Datenschutz-Modul: welche Daten dürfen intern verarbeitet werden, welche nicht?
- Hardware-Anforderungen: CPU vs. GPU, RAM und VRAM planen
Modul 2: Ollama einrichten und Modelle betreiben
- Ollama installieren: macOS, Linux und Windows
- Modelle downloaden und ausführen: ollama run, pull, list
- Ollama-API: REST-Endpunkt für lokale LLM-Anfragen
- Modell-Auswahl: Llama 3.2, Mistral, Phi-4 und Qwen2.5 vergleichen
Modul 3: Open WebUI und Nutzerverwaltung
- Open WebUI installieren: Docker-basiertes Frontend für Ollama
- Nutzer und Rollen: Team-Zugriff auf lokale LLMs verwalten
- Modell-Switching: verschiedene Modelle für verschiedene Aufgaben
- RAG in Open WebUI: Dokumente hochladen und lokal abfragen
Modul 4: Fachbereichsanwendungen und Integration
- HR: vertrauliche Personalunterlagen lokal analysieren und zusammenfassen
- Marketing: Texte und Ideen ohne Cloud-Abhängigkeit generieren
- Operations: interne Prozessdokumentationen lokal durchsuchen und auswerten
- API-Integration: Ollama in eigene Tools und Workflows einbinden
Modul 5: Betrieb, Skalierung und Grenzen
- Performance-Optimierung: Modell-Quantisierung mit GGUF und Ollama
- Mehrere Nutzer: Ollama-Server skalieren
- Monitoring: Ressourcennutzung und Response-Zeiten überwachen
- Grenzen lokaler LLMs: wann Cloud-Dienste dennoch sinnvoller sind
Kodschul-Trainer & Team
Lernen Sie von Experten - erfahrene Fachleute mit praktischem Know-how
Erfahrene Trainer mit praktischer Technik-Erfahrung
Über 3000 Fachkräfte in zwei Jahren geschult
Praxisnahe Expertise und tiefes Branchenwissen
Wirkungsvolles Lernen mit realen Anwendungen
Über 300+ Projekte gemeinsam abgeschlossen
Experte für IT & KI, Trainer
Experte für IT & KI, Trainer
Experte für IT & KI, Trainer, CEO
Experte für IT & KI, Trainer
Experte für IT & KI, Trainer
Experte für IT & KI, Trainer
Joelle Keim
Key Account Manager
Selina Schmid
Seminar Manager
Elisa Saleh
Back Office
Lars Gerigk
Portfolio Manager
Axel Kamga
Trainer & Vertrieb
Sebastian Carnal
HR & People
So läuft das Training ab
Unsere Schulungen sind 100% hands-on, mit einem praktischen Anteil von 70% und 30% Theorie. Sie finden vor Ort, bei uns oder online (auf allen gängigen Plattformen) statt. Zusätzlich erhalten die Teilnehmenden kostenfrei Hands-outs und Unterlagen, die sie zur Vertiefung und weiteren Anwendung nutzen können.
Grundlagen
Zu Beginn sorgen wir dafür, dass alle Teilnehmenden auf denselben Wissensstand gebracht werden, unabhängig von ihrem Ausgangsniveau. So wird jeder optimal auf die weiteren Themen vorbereitet, und niemand bleibt zurück.
Durchführung
Wir starten mit einer Einführung in das Thema, gefolgt von Demos und praxisnahen Beispielen. Anschließend üben die Teilnehmenden eigenständig, während der Trainer individuelles Feedback gibt und bei Bedarf Korrekturen vornimmt.
Anwendungsfälle
Das Gelernte wird auf konkrete Anwendungsfälle der Teilnehmenden angewendet. In einer praxisorientierten Session erarbeiten wir gemeinsam Lösungen, die den Teilnehmern helfen, das Wissen direkt in ihren Arbeitsalltag zu integrieren.
Am häufigsten gestellte Fragen
Für wen ist dieser Kurs konzipiert?
+Wie kann ich mich für den Kurs anmelden?
+Wie hoch sind die Kosten für den Kurs?
+Brauche ich Vorkenntnisse zum Thema des Kurses?
+Werde ich das Gelernte in diesem Kurs anwenden können?
+Welche Software oder Tools benötige ich für den Kurs?
+Lassen Sie uns über Ihr nächstes Training sprechen.
Unser Team steht Ihnen rund um die Uhr zur Verfügung und freut sich auf Ihre Anfrage. Einfach anrufen oder eine Nachricht hinterlassen – wir kümmern uns schnellstmöglich um Ihre Anfrage, ob es um eine Schulung, einen Vortrag oder eine Präsentation geht. Jetzt loslegen!
Joelle Keim
Key Account Manager