Ollama GPU-Beschleunigung: CUDA, ROCm und Metal plattformübergreifend einrichten

Aktualisiert am 2026-06-08: Gegen Ollamas offizielle Hardware-Support-Doku gegengeprüft — AMD ROCm verlangt jetzt offiziell ROCm v7/HIP7 unter Linux und Windows (keine reine Windows-Preview mehr), und Apple Silicon wechselte mit Ollama 0.19 (Preview, März 2026) auf ein MLX-Backend, aktivierbar über OLLAMA_BACKEND=mlx. Befehle und Performance-Angaben unten sind entsprechend aktualisiert.

Zeile für Zeile kriecht der Text im Terminal voran – ein Blick auf die Uhr: 47 Sekunden. So lange brauchte Llama 3 8B auf meinem alten Notebook, CPU voll ausgelastet, Lüfter heulend, etwa 5 Tokens pro Sekunde. Ziemlich frustrierend, wenn man eigentlich Code-Hilfe erwartet – die Wartezeit reicht, um die Antwort selbst bei Google zu suchen.

Dann dieselbe Grafikkarte im Desktop-PC, CUDA-Treiber installiert, gleiches Modell, gleiche Parameter – 3 Sekunden.

Keine Übertreibung: von fast einer Minute auf wenige Sekunden. Das Gefühl „Ich habe gefragt und will die Antwort sofort“ ist zurück.

Dieser Artikel hilft Ihnen, die GPU-Beschleunigung für Ollama einzurichten. Ob NVIDIA, AMD oder Apple Silicon – Konfiguration, Verifizierung und typische Fallstricke. Die Wartezeit sparen und Zeit für Interessanteres nutzen.

GPU-Beschleunigung in Zahlen: vom 30-Sekunden-Warten zur 3-Sekunden-Antwort

Kurz gesagt: Mit GPU erreichen Sie bei lokalen LLMs 10- bis 20-fache Geschwindigkeit. Kein Marketing, sondern meine Messwerte und breite Community-Erfahrung.

Die Frage: CPU reicht doch auch – warum GPU?

Technisch ja, aber das Erlebnis ist grundverschieden. Eine 7B-CPU-Inferenz liefert 3–8 Tokens/s – 500 Wörter Antwort dauern 20–60 Sekunden. Mit GPU: 40–80 Tokens/s, fertig in wenigen Sekunden. Das ist kein „etwas schneller“, sondern der Sprung von „geht so“ zu „angenehm nutzbar“.

Unterstützt Ihre Grafikkarte das?

Ollama unterstützt drei GPU-Plattformen mit unterschiedlichen Anforderungen:

NVIDIA-Grafikkarten: Am verbreitetsten und unkompliziertesten. Offiziell Compute Capability 5.0+, praktisch GTX-900-Serie und neuer. GTX 1060, RTX 3060, RTX 4090 – alles kein Problem. Meine RTX 3060 12GB schafft Modelle bis 14B mühelos.

AMD-Grafikkarten: Etwas mehr Aufwand, aber machbar. Linux und Windows brauchen jetzt beide den ROCm v7 / HIP7 Treiber-Stack (Windows ist offiziell unterstützt, keine Preview mehr). RX-6000- und RX-7000-Serien sind stabil; die neuesten RDNA4-Karten (RX 9000, gfx1200/1201) brauchen evtl. neuere Builds oder einen manuellen Bibliothekstausch, ältere Karten Extra-Einstellungen.

Apple Silicon: M1/M2/M3/M4 voll unterstützt, automatisch aktiviert. Mac-Nutzer konfigurieren nichts – Ollama nutzt Metal out of the box. Seit 2026 optional das MLX-Backend für noch mehr Tempo.

Reicht der VRAM?

Ein oft übersehener Punkt: VRAM ist die harte Grenze.

KiloClaw - Managed OpenClaw für Unternehmen: AI-Agent-Orchestrierung und smartes Modell-Routing

Jetzt starten →Anzeige

Grober Richtwert: 7B mit 4-bit-Quantisierung ~5–6 GB, 14B ~10–12 GB, 70B 40 GB+. Ihr VRAM bestimmt die Modellgröße. Meine RTX 3060 12GB läuft mit Llama 3 8B entspannt; Mixtral 8x7B wird knapp – teilweise muss die CPU aushelfen.

Vor der GPU-Konfiguration: Grafikkartenmodell und VRAM kennen.

NVIDIA CUDA: die unkomplizierteste Variante (mit ein paar Fallstricken)

NVIDIA-Nutzer haben es am leichtesten von allen drei Plattformen.

Treiber installiert?

Terminal öffnen:

nvidia-smi

Eine Tabelle mit Modell, VRAM und Treiberversion? Treiber läuft. Ollama erkennt CUDA automatisch – kein separates CUDA Toolkit nötig. Ollama bringt die nötigen CUDA-Bibliotheken mit.

Fehlermeldung „command not found“? Treiber installieren. Ubuntu:

sudo apt install nvidia-driver-535  # oder neuere Version

Neustart, dann erneut nvidia-smi.

Mehrere Grafikkarten?

Passt das Modell vollständig in den freien VRAM einer GPU, lädt Ollama es auf diese Karte und vermeidet zusätzliche Übertragungen über den PCI-Bus. Erst wenn keine einzelne Karte ausreicht, verteilt Ollama das Modell automatisch auf die verfügbaren GPUs. Sie können trotzdem gezielt Karten auswählen, etwa um eine GPU für andere Aufgaben freizuhalten.

Umgebungsvariable setzen:

# Nur Grafikkarte 0
export CUDA_VISIBLE_DEVICES=0

# Grafikkarten 0 und 2
export CUDA_VISIBLE_DEVICES=0,2

In ~/.bashrc oder der systemd-Service-Konfiguration speichern für dauerhafte Wirkung.

Ollama in Docker?

Ollama lässt sich containerisieren – aber Docker greift standardmäßig nicht auf die Host-GPU zu.

Mit NVIDIAs nvidia-container-toolkit:

# Toolkit installieren
sudo apt install nvidia-container-toolkit

# Docker-Runtime konfigurieren
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Container mit --gpus all starten:

docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 ollama/ollama

GPU wirklich aktiv?

Einfacher Test: Modell laufen lassen, in zweitem Terminal:

ollama ps

Ausgabe zeigt laufendes Modell und GPU-Nutzung. Steht dort GPU: 100%, greift die Beschleunigung.

Alternativ nvidia-smi -l 1 für Echtzeit-VRAM – beim Modellstart sollte der Speicher deutlich steigen.

AMD ROCm: etwas mehr Aufwand, gleiche Geschwindigkeit

AMD-Nutzer kennen das: Tutorials drehen sich um NVIDIA, AMD-Doku ist spärlich. Die gute Nachricht: Ollamas ROCm-Unterstützung ist deutlich stabiler – nur ein paar Schritte mehr.

Linux: ROCm v7

Unter Ubuntu 22.04+ ist ROCm überschaubar:

# AMD-Quellen hinzufügen
sudo apt update
sudo apt install amdgpu-install
sudo amdgpu-install --usecase=rocm

# Benutzer zur Render-Gruppe hinzufügen
sudo usermod -aG render,video $USER

# Neustart
sudo reboot

Nach Neustart rocminfo – GPU erkannt? Ollama für AMD erkennt ROCm automatisch.

🔥 Verschwende keine Monate für ungenutzte Produkte! Teste deine SaaS-Nutzenversprechen mit Adsterra bei kleinem Budget →

Jetzt testen →Anzeige

Windows: jetzt offiziell unterstützt

Die AMD-Unterstützung unter Windows ist dieses Jahr deutlich gereift. Ollama verlangt nun auch unter Windows den ROCm v7 / HIP7 Treiber-Stack (AMD Adrenalin installieren), nicht mehr die alte v6.1 Preview. RX 7000/6000 laufen meist direkt; die neuesten RDNA4-Karten (RX 9000, gfx1200/1201) können auf Kernel-Lücken stoßen und brauchen evtl. einen neueren Build oder manuellen Bibliothekstausch.

Startet eine sehr neue Karte partout nicht, ist WSL2 + Ubuntu als Fallback oft stabiler.

Ältere Karten: HSA_OVERRIDE

AMD-Architektur-Codes sind verwirrend; ROCm unterstützt offiziell nur neuere (gfx900, gfx1030 …). RX 580 (gfx803) wird standardmäßig nicht erkannt.

Umgebungsvariable erzwingen:

export HSA_OVERRIDE_GFX_VERSION=10.3.0  # gfx1030-Kompatibilitätsmodus

Nicht immer erfolgreich, aber Community-Feedback zeigt Wirkung bei vielen älteren Karten. Testen – sonst CPU-Fallback.

Multi-GPU

Analog zu NVIDIA:

export ROCR_VISIBLE_DEVICES=0,1  # Grafikkarten 0 und 1

Kartennummern mit rocm-smi ablesen.

Häufige AMD-Architektur-Codes

AMD ist etwas holpriger als NVIDIA – einmal eingerichtet aber vergleichbar schnell.

Apple Metal: versteckter Vorteil für Mac-Nutzer

Apple-Silicon-Mac (M1/M2/M3/M4)? Gute Nachricht: null Konfiguration.

Wirklich null. Ollama installieren, Modell starten, GPU-Beschleunigung läuft. Metal ist eingebaut, das System lädt Modelle automatisch auf die GPU.

Performance der M-Serie

Community-Messwerte zeigen solide lokale LLM-Geschwindigkeit:

• M1/M2 8GB: 7B-Modell, ca. 15–20 tok/s
• M2 Pro 16GB: 14B-Modell, 25–30 tok/s
• M3 Max 36GB: 30B+, weiterhin 30+ tok/s

Verglichen mit CPU-only deutlich praktikabel. Kein RTX-4090-Niveau, aber für Code-Hilfe und Textbearbeitung völlig ausreichend.

Neuerung 2026: MLX-Backend

Seit Ollama 0.19 (Preview, März 2026) läuft die Inferenz auf Apple Silicon nicht mehr über llama.cpp, sondern über Apples eigenes MLX-Framework – es nutzt den Unified Memory direkt und spart den CPU↔GPU-Kopierschritt.

Laut Ollamas eigenen Zahlen beschleunigt MLX das Decoding um rund das 1,6-2-fache (bei int4 etwa 85 → 134 tok/s) und verkürzt die Zeit bis zum ersten Token. Auf M5/M5 Pro/M5 Max kommen zusätzlich die neuen GPU Neural Accelerators zum Einsatz.

Meist müssen Sie nichts aktivieren: Ab 0.19+ nutzt Apple Silicon MLX automatisch. Zum expliziten Erzwingen (oder Debuggen) den Server mit der Umgebungsvariable starten:

OLLAMA_BACKEND=mlx ollama serve

Zwei Hinweise: MLX ist noch Preview und will 32 GB+ Unified Memory für stabilen Betrieb; nur bestimmte Modellarchitekturen werden unterstützt – nicht unterstützte fallen still auf Metal zurück.

GPU aktiv?

Activity Monitor öffnen, Tab GPU History. Beim Modellstart sollte die GPU-Auslastung steigen. Nur CPU aktiv, GPU idle? Selten – meist hilft Ollama-Neuinstallation.

GPU-Erkennung schlägt fehl: Fehlerbehebung

Hardware-Konfiguration bedeutet Fallstricke. Typische Probleme und Lösungen:

Vultr - Hochleistungs-NVMe-Cloud-Server mit 32 Standorten weltweit, Docker per Klick

Preise ansehen →Anzeige

Problem 1: no compatible GPUs were discovered

Ollama findet keine nutzbare Grafikkarte.

Mögliche Ursachen:

• Treiber fehlt oder ist veraltet
• Grafikkarte nicht unterstützt (z. B. GTX-700-Serie)
• Docker ohne GPU-Zugriff

Schritte:

# NVIDIA: Treiber prüfen
nvidia-smi

# AMD: ROCm prüfen
rocminfo

# Fehler? Zuerst Treiber installieren

Problem 2: Not compiled with GPU offload support

Ihre Ollama-Version hat keinen GPU-Support.

Lösung: Korrekte Version von der Website laden. AMD-Nutzer: separate ROCm-Version, nicht die CUDA-Variante.

Problem 3: NVIDIA-Treiber zu alt

Mindestens Treiber 450+. Version 400er blockiert CUDA.

# Aktuelle Treiberversion
nvidia-smi | grep "Driver Version"

# Zu alt? Aktualisieren
sudo apt install nvidia-driver-535

Problem 4: AMD amdgpu-Treiber fehlt

Linux braucht amdgpu, nicht den alten radeon-Treiber.

# Geladener Treiber
lsmod | grep amdgpu

# Keine Ausgabe? Manuell installieren
sudo apt install amdgpu-dkms

Problem 5: SELinux blockiert Container-GPU

Auf CentOS/RHEL blockiert SELinux standardmäßig GPU-Zugriff aus Containern.

Temporär:

sudo setenforce 0  # SELinux vorübergehend deaktivieren

Dauerhaft: SELinux-Policy anpassen (Red-Hat-Doku) – oder Ubuntu, weniger Aufwand.

Verifizierungs-Checkliste

# 1. Grafikkarte vom System erkannt?
nvidia-smi       # NVIDIA
rocminfo         # AMD
system_profiler SPDisplaysDataType  # macOS

# 2. Ollama-Prozessstatus
ollama ps

# 3. GPU-Monitoring während Modell läuft
watch -n 1 nvidia-smi    # NVIDIA
rocm-smi -a              # AMD

# 4. Umgebungsvariablen
echo $CUDA_VISIBLE_DEVICES
echo $ROCR_VISIBLE_DEVICES

Die meisten Probleme lassen sich so eingrenzen. Hilft das nicht: Ollama GitHub Issues durchsuchen – viele haben denselben Stolperstein getroffen.

Weiterführend

• Ollama Hardware-Leitfaden für lokale LLMs
• Ollama Performance-Optimierung – vollständiger Leitfaden
• Ollama Multi-GPU-Scheduling in der Praxis

Zum Abschluss

Kurzüberblick:

GPU-Beschleunigung: einmal einrichten, dauerhaft profitieren. Vom CPU-„geht so“ zum GPU-„angenehm nutzbar“ – der Unterschied ist spürbar. Welche Plattform nutzen Sie? Probleme bei der Einrichtung? Teilen Sie gern in den Kommentaren – ich antworte, wenn ich kann.