Ollama Local LLM Guide
18 Beiträge in dieser Serie
Ein Local-LLM-Pfad für Ollama-Setup, Modellverwaltung, APIs, Web-UIs, lokales RAG und Hardware-Trade-offs.
Ollama-Einstieg: Erster Schritt zu lokalen Großsprachmodellen
Große Sprachmodelle auf dem eigenen Rechner? Schritt-für-Schritt: Ollama installieren und konfigurieren, Modelle verwalten, GPU-Beschleunigung und API-Integration – für Linux, macOS und Windows.
Ollama-Modellverwaltung: Download, Wechsel, Löschen und Versionskontrolle
Ausführliche Anleitung zu den zentralen Ollama-Befehlen für Modellverwaltung: bestimmte Versionen herunterladen, Modelle wechseln, Batch-Löschskripte und Best Practices für Versionskontrolle – für effiziente lokale LLM-Bibliotheken, mehr Speicherplatz und weniger Versionschaos.
Ollama-Version-Rollback in der Praxis: 3 kritische Schritte, die 90 % der Entwickler übersehen
Nach einem Ollama-Upgrade instabil? Drei vollständige Rollback-Strategien (Binärersatz, Paketmanager, Docker), Ein-Klick-Automatisierungsskripte und ein Praxisleitfaden für parallele Versionen – so lösen Sie Versionsmanagement-Probleme schnell.
Ollama Modelfile-Parameter im Detail: Leitfaden für eigene Modelle
Die 10 Kernparameter im Ollama Modelfile erklärt – inkl. temperature, num_ctx und Tuning-Tipps. Vier sofort nutzbare Vorlagen für Rollenspiel, Code-Review, JSON-Ausgabe und Dokumentenzusammenfassung.
Llama 70B lokal betreiben: 5700XT, Mac M4 und CUDA im Vergleich
Llama 70B lokal ausführen? Dieser Artikel vergleicht AMD 5700XT, Mac M4 und NVIDIA CUDA mit Praxisdaten – VRAM-Bedarf, Performance und typische Fallstricke für Ihre Hardware-Wahl.
Ollama Hardware-Auswahl: VRAM, Quantisierung und GPU-Vergleich (2026)
Vollständige Ollama-Hardware-Auswahl-Tabelle: VRAM-Bedarf für 7B/13B/70B-Modelle, Q4/Q8-Quantisierungsvergleich, NVIDIA CUDA/AMD ROCm/Apple Metal im Detail. Empfehlungen von RTX 3060 bis 5090 – schnell die passende GPU zum Modell finden.
Ollama GPU-Beschleunigung: CUDA, ROCm und Metal plattformübergreifend einrichten
Vollständige Anleitung zur Ollama-GPU-Beschleunigung für NVIDIA CUDA, AMD ROCm und Apple Metal. Mit Verifizierung, Multi-GPU-Setup und Fehlerbehebung – lokale LLM-Inferenz bis zu 10–20× schneller.
Ollama GPU-Scheduling und Ressourcenverwaltung: VRAM-Optimierung, Multi-GPU-Lastverteilung
Tiefgehende Analyse von Ollama GPU-Scheduling und Ressourcenverwaltung: VRAM-Optimierungsparameter, Multi-GPU-Lastverteilung in der Praxis, llama.cpp-Technik. Drei reale Szenarien – für stabile LLM-Nutzung und volle Ausnutzung Ihrer GPU-Hardware.
Ollama Performance-Optimierung: Quantisierung, Batching und Speicher-Tuning
Q4/Q5/Q8-Quantisierungsstrategien für Ollama, num_batch-Batching für 50–150 % mehr Durchsatz, GPU-Speicherverwaltung und OOM-Lösungen – inklusive Benchmarks für verschiedene Hardware.
Ollama Multi-Modell-Parallelbetrieb: Qwen, Llama und DeepSeek in der Praxis
Ausführliche Anleitung zur Ollama-Konfiguration für parallelen Multi-Modell-Betrieb: Qwen, Llama und DeepSeek im Vergleich, GPU-Speicherverwaltung und ein intelligentes Modellwechsel-System.
Ollama + Open WebUI: Lokale ChatGPT-Oberfläche einrichten (Kompletter Leitfaden)
Schritt-für-Schritt-Anleitung: Mit Ollama und Open WebUI eine ChatGPT-ähnliche KI-Oberfläche lokal betreiben – Installation, Modellauswahl, RAG-Wissensbasis, API-Integration und Performance in ca. 30 Minuten
Ollama-API-Aufrufe: Von curl bis zur OpenAI-SDK-kompatiblen Schnittstelle
Lernen Sie zwei Wege für Ollama-API-Aufrufe: native REST-API (curl) und OpenAI-SDK-kompatible Schnittstelle. Mit vollständigen Codebeispielen, Streaming-Verarbeitung und Best Practices
Ollama API in der Praxis: Entwicklungsleitfaden für Python- und Node.js-Clients
Ausführliche Anleitung zur Ollama-API: Python- und Node.js-SDK, Streaming, Tool-Calling mit Agent Loop, Thinking-Modus und Vergleich mit der OpenAI-kompatiblen Schnittstelle
LangChain + Ollama Integration: Vollständiger Leitfaden für lokale LLM-Apps
Ausführliche Anleitung zur LangChain-Ollama-Integration mit Codebeispielen für Chat, RAG und Agent – inklusive OpenAI/Ollama-Wechselstrategie für unternehmensreife LLM-Anwendungen mit lokalen Modellen.
Ollama Embedding in der Praxis: Lokale Vektorsuche und RAG aufbauen
Lokales RAG-System mit Ollama: mxbai-embed-large vs nomic-embed-text im Modellvergleich, Vektordatenbank-Auswahl ChromaDB/FAISS/Milvus, vollständiger Python-Code
Ollama Modell-Quantisierung: GGUF-Format und Genauigkeitsverluste erklärt
GGUF-Quantisierung bei Ollama im Detail: Red-Hat-Daten aus 500K+ Evaluations zeigen die Wahrheit über Genauigkeitsverluste. Quantisierungswahl für verschiedene Hardware – große Modelle auf Consumer-GPUs betreiben.
Ollama Produktions-Monitoring: Logging, Prometheus und AlertManager in der Praxis
Vollständiges Ollama-Produktions-Monitoring: Logging-Konfiguration, Prometheus-Metriken, AlertManager-Regeln und Grafana-Dashboard – inklusive Multi-GPU-Überwachung und automatischer Fehlerbehebung
Mnemo: Eine portable Langzeit-Memory-Schicht für lokale LLMs
Mnemo ist eine local-first AI-Memory-Schicht. Dieser Leitfaden erklärt den Unterschied zu RAG, die Rust-, SQLite- und Graph-Retrieval-Architektur, Docker- und Ollama-Setup sowie sinnvolle Einsatzgrenzen.
