Lokale KI-Modelle mit Ollama
Warum lokale KI-Modelle?
Das lokale Ausführen von KI-Modellen auf Ihrem Desktop bietet mehrere wichtige Vorteile:
| Aspekt | Lokale Modelle | Cloud-API |
|---|---|---|
| Datenschutz | Ihre Daten bleiben auf Ihrem Computer | Daten werden zu Cloud-Servern gesendet |
| Kosten | Kostenlos nach Installation | Zahlung pro API-Aufruf |
| Geschwindigkeit | Keine Internet-Latenz | Hängt von der Verbindung ab |
| Offline | Funktioniert ohne Internet | Erfordert Internetverbindung |
| Kontrolle | Vollständige Kontrolle über Ihre Daten | Daten werden von Dritten verwaltet |
Warum Ollama?
Ollama ist die führende Plattform für das lokale Ausführen von Open-Source-KI-Modellen. Hauptmerkmale:
- ✅ Einfache Installation und Einrichtung
- ✅ Tausende verfügbarer Modelle
- ✅ Leicht und schnell
- ✅ Plattformübergreifend (Windows, macOS, Linux)
- ✅ Einfache Modellverwaltung
- ✅ OpenAI-kompatible API
Installation
1. Ollama herunterladen und installieren
Besuchen Sie ollama.ai und laden Sie das Installationsprogramm für Ihr Betriebssystem herunter.
2. Installation verifizieren
Nach der Installation überprüfen Sie, ob Ollama funktioniert:
ollama --version
Starten Sie unter Windows Ihr Terminal nach der Installation neu.
3. Ein Modell abrufen
Laden Sie ein Modell herunter (Beispiel mit qwen2.5):
ollama pull qwen2.5:7b
Dies lädt das Modell herunter. Je nach Internetgeschwindigkeit kann dies einige Minuten dauern.
Modellinstallation
Schneller Start
Für das beste Gleichgewicht zwischen Qualität und Leistung empfehlen wir:
ollama pull qwen3-vl:4b
Empfohlenes Modell: qwen3-vl:4b
Dieses Modell wird empfohlen, da es:
- ✅ Nur 4GB RAM benötigt
- ✅ Visionsfähigkeiten enthält (Bilder ansehen)
- ✅ Gutes Gleichgewicht zwischen Geschwindigkeit und Qualität bietet
- ✅ Auf den meisten Hardware funktioniert
- ✅ Vollständig offen und kostenlos nutzbar ist
Weitere Modelle installieren
Sie können zusätzliche Modelle installieren:
# Andere beliebte Modelle
ollama pull llama2:7b # Vortreffliches Allzweck-Modell
ollama pull mistral:7b # Schnell und fähig
ollama pull neural-chat:7b # Großartig für Gespräche
Hardwareempfehlungen
Ollama funktioniert auf verschiedenen Hardware. Hier ist, was Sie für verschiedene Modelle benötigen:
| Modellgröße | RAM erforderlich | Grafikkarte | Leistung |
|---|---|---|---|
| 3-4B | 4GB Minimum | Nicht erforderlich | Schnell (5-10 Token/Sek) |
| 7B | 8GB empfohlen | Optional (schneller) | Gut (2-5 Token/Sek) |
| 13B+ | 16GB+ empfohlen | GPU stark empfohlen | Langsamer ohne GPU |
GPU-Beschleunigung: Wenn Sie eine NVIDIA-GPU haben, verwendet Ollama diese automatisch für schnellere Inferenz.
Konfiguration in der Desktop-App
Nach der Installation von Ollama und Modellen:
- Öffnen Sie die AI-School-Desktop-Anwendung
- Gehen Sie zu Einstellungen → Lokale Modelle
- Überprüfen Sie, dass Ollama erkannt wird
- Wählen Sie Ihr Modell aus dem Dropdown aus
- Sie können lokale KI nutzen!
Verfügbare Modelle
Beliebte Modelle, die über Ollama verfügbar sind:
Visionsmodelle (können Bilder sehen)
- qwen3-vl:4b (empfohlen) - Schnelles Visionsmodell
- llama2-vision:13b - Leistungsfähigeres Visionsmodell
- minicpm-v:latest - Kompaktes Visionsmodell
Textmodelle
- qwen2.5:7b - Vortrefflich für alle Aufgaben
- llama2:7b - Klassisch, gut getestet
- mistral:7b - Schnell und effizient
- neural-chat:7b - Fokus auf Konversationen
- openchat:7b - Guter Allrounder
Spezialisierte Modelle
- codegemma:7b - Für Programmieraufgaben
- sqlcoder:7b - SQL-Datenbankabfragen
- dolphin-mixtral:8x7b - Leistungsstarkes Mischungsmodell
Beginnen Sie mit qwen3-vl:4b und erkunden Sie andere Modelle je nach Ihren Anforderungen!