danielkrause/BSN-Chatsystem
1
0
Fork 0
Code Issues 14 Pull Requests Actions Packages Projects Releases Wiki Activity
Files
0a63f0439fde19a308892ee53b14397d28df7442
BSN-Chatsystem/gguf-neue-modelle-juni-2026.md
T

198 lines
14 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Neue GGUF-Modelle auf HuggingFace (7.–14. Juni 2026)
## Modelle mit 7B–34B Parametern — sortiert nach Downloads
---
### 🔍 Suchmethodik
- Quelle: [HuggingFace Models → llama.cpp → sort=downloads](https://huggingface.co/models?apps=llama.cpp&sort=downloads)
- Zeitraum: 7. Juni – 14. Juni 2026 (letzte 7 Tage)
- Parameterbereich: 7B–34B
- API-gestützte Extraktion von Dateigrößen via LFS-Metadaten
---
## 📊 Übersicht der gefundenen Modelle
| # | Modell | Parameter | Typ | Downloads | Likes | Aktualisiert |
|---|--------|-----------|-----|-----------|-------|-------------|
| 1 | **unsloth/gemma-4-12b-it-GGUF** | 12B (Dense) | Image-Text-to-Text | 926k | 587 | 9. Juni |
| 2 | **unsloth/gemma-4-E4B-it-GGUF** | 8B (Dense) | Image-Text-to-Text | 703k | 502 | 9. Juni |
| 3 | **unsloth/gemma-4-26B-A4B-it-GGUF** | 26B (MoE, 4B aktiv) | Image-Text-to-Text | 1,08M | 869 | 9. Juni |
| 4 | **unsloth/gemma-4-31B-it-GGUF** | 31B (Dense) | Image-Text-to-Text | 483k | 492 | 9. Juni |
| 5 | **DavidAU/Qwen3.6-27B-Heretic-Uncensored-NEO-CODE-GGUF** | 27B (Dense) | Image-Text-to-Text | 390k | 314 | 11. Juni |
| 6 | **unsloth/gemma-4-26B-A4B-it-qat-GGUF** | 26B (MoE, QAT) | Image-Text-to-Text | 317k | 157 | 10. Juni |
| 7 | **unsloth/gemma-4-12B-it-qat-GGUF** | 12B (Dense, QAT) | Any-to-Any | 255k | 227 | 10. Juni |
| 8 | **LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF** | 35B (MoE, 3B aktiv) | Image-Text-to-Text | 233k | 103 | 9. Juni |
| 9 | **unsloth/gemma-4-31B-it-qat-GGUF** | 31B (Dense, QAT) | Image-Text-to-Text | 147k | 81 | 10. Juni |
---
## 📋 Detail-Analyse pro Modell
### 1. unsloth/gemma-4-12b-it-GGUF ⭐ Top-Empfehlung
**Google Gemma 4 12B — Apache 2.0 Lizenz**
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|--------------|-----------|------------|---------------|---------------|
| UD-Q4_K_XL | 6,86 GB | ~8–10 GB | 🟢 Gut (empfohlen) | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-UD-Q4_K_XL.gguf) |
| Q4_K_M | 6,63 GB | ~8–10 GB | 🟢 Gut | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q4_K_M.gguf) |
| IQ4_NL | 6,26 GB | ~8–10 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-IQ4_NL.gguf) |
| Q5_K_M | 7,84 GB | ~10–12 GB | 🔵 Sehr gut | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q5_K_M.gguf) |
| Q6_K | 9,11 GB | ~11–13 GB | 🔵 Hoch | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q6_K.gguf) |
| Q8_0 | 11,80 GB | ~14–16 GB | 🟣 Sehr hoch | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q8_0.gguf) |
| Q3_K_M | 5,30 GB | ~7–9 GB | 🟡 Akzeptabel | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q3_K_M.gguf) |
| UD-IQ2_M | 3,92 GB | ~5–7 GB | 🟠 Niedrig | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-UD-IQ2_M.gguf) |
**Highlights:** Multimodal (Text, Bild, Audio, Video), 256K Kontext, Apache 2.0, MTP-Support, native Function Calling. **Beste Allround-Wahl für 12B-Klasse.**
---
### 2. unsloth/gemma-4-E4B-it-GGUF
**Google Gemma 4 E4B (8B) — Kompakt & Effizient**
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|--------------|-----------|------------|---------------|---------------|
| UD-Q4_K_XL | 4,77 GB | ~6–8 GB | 🟢 Gut (empfohlen) | [Download](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-UD-Q4_K_XL.gguf) |
| Q4_K_M | 4,64 GB | ~6–8 GB | 🟢 Gut | [Download](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-Q4_K_M.gguf) |
| IQ4_NL | 4,50 GB | ~6–8 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-IQ4_NL.gguf) |
| Q5_K_M | 5,11 GB | ~7–9 GB | 🔵 Sehr gut | [Download](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-Q5_K_M.gguf) |
| Q8_0 | 7,63 GB | ~9–11 GB | 🟣 Sehr hoch | [Download](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-Q8_0.gguf) |
**Highlights:** Laptop-tauglich, 128K Kontext, Audio/Video nativ. Ideal für Consumer-Hardware.
---
### 3. unsloth/gemma-4-26B-A4B-it-GGUF
**Google Gemma 4 26B MoE (4B aktiv) — Mixture-of-Experts**
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|--------------|-----------|------------|---------------|---------------|
| UD-Q4_K_XL | 15,84 GB | ~18–22 GB | 🟢 Gut (empfohlen) | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf) |
| UD-IQ4_NL | 12,68 GB | ~15–18 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-IQ4_NL.gguf) |
| UD-Q3_K_XL | 12,02 GB | ~14–17 GB | 🟡 Akzeptabel | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-Q3_K_XL.gguf) |
| UD-Q5_K_XL | 19,76 GB | ~22–26 GB | 🔵 Sehr gut | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-Q5_K_XL.gguf) |
| MXFP4_MOE | 15,41 GB | ~18–22 GB | 🟢 Gut (MoE-optimiert) | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-MXFP4_MOE.gguf) |
**Highlights:** MoE-Architektur — nur 4B Parameter aktiv pro Token, daher schnelle Inferenz. 256K Kontext. Benötigt 24 GB GPU (RTX 4090/3090) für Q4.
---
### 4. unsloth/gemma-4-31B-it-GGUF
**Google Gemma 4 31B — Dense, High-End Consumer**
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|--------------|-----------|------------|---------------|---------------|
| UD-Q4_K_XL | 17,53 GB | ~20–24 GB | 🟢 Gut (empfohlen) | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-UD-Q4_K_XL.gguf) |
| IQ4_NL | 16,10 GB | ~18–22 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-IQ4_NL.gguf) |
| Q4_K_M | 17,07 GB | ~20–24 GB | 🟢 Gut | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-Q4_K_M.gguf) |
| Q5_K_M | 20,17 GB | ~23–27 GB | 🔵 Sehr gut | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-Q5_K_M.gguf) |
| Q6_K | 23,47 GB | ~26–30 GB | 🔵 Hoch | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-Q6_K.gguf) |
| Q3_K_M | 13,72 GB | ~16–20 GB | 🟡 Akzeptabel | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-Q3_K_M.gguf) |
**Highlights:** Stärkstes Gemma-4-Dense-Modell. 256K Kontext. Benötigt 24–32 GB VRAM (RTX 4090/5090 oder Apple M2 Ultra).
---
### 5. DavidAU/Qwen3.6-27B-Heretic-Uncensored-NEO-CODE-GGUF
**Qwen3.6 27B — Uncensored + Code-optimiert (DavidAU Finetune)**
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|--------------|-----------|------------|---------------|---------------|
| Q4_K_M | 15,70 GB | ~18–22 GB | 🟢 Gut (empfohlen) | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-Q4_K_M.gguf) |
| IQ4_NL | 15,01 GB | ~17–21 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-IQ4_NL.gguf) |
| IQ4_XS | 14,34 GB | ~16–20 GB | 🟢 Gut (IQ, kleiner) | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-IQ4_XS.gguf) |
| Q5_K_M | 18,20 GB | ~21–25 GB | 🔵 Sehr gut | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-Q5_K_M.gguf) |
| Q6_K | 20,86 GB | ~23–27 GB | 🔵 Hoch | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-Q6_K.gguf) |
| IQ3_M | 12,01 GB | ~14–18 GB | 🟡 Akzeptabel | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-IQ3_M.gguf) |
| IQ2_M | 9,77 GB | ~12–15 GB | 🟠 Niedrig | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-IQ2_M.gguf) |
**Highlights:** Uncensored-Finetune mit Fokus auf Coding. „Heretic"-Serie von DavidAU. I-Matrix-optimierte Quantisierung. 2T-Training-Tokens.
---
### 6. unsloth/gemma-4-26B-A4B-it-qat-GGUF
**Gemma 4 26B MoE — QAT (Quantization-Aware Training)**
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|--------------|-----------|------------|---------------|---------------|
| UD-Q4_K_XL | 13,27 GB | ~16–20 GB | 🟢 Gut (QAT-optimiert) | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-qat-GGUF/resolve/main/gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf) |
**Highlights:** QAT = Quantization-Aware Training — bessere Qualität bei gleicher Bit-Tiefe. Nur eine Quantisierung verfügbar, aber hochoptimiert. ~3 GB kleiner als nicht-QAT Q4_K_XL.
---
### 7. unsloth/gemma-4-12B-it-qat-GGUF
**Gemma 4 12B — QAT (Quantization-Aware Training)**
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|--------------|-----------|------------|---------------|---------------|
| UD-Q4_K_XL | 6,26 GB | ~8–10 GB | 🟢 Gut (QAT-optimiert) | [Download](https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF/resolve/main/gemma-4-12B-it-qat-UD-Q4_K_XL.gguf) |
**Highlights:** QAT-Variante des 12B-Modells. ~0,6 GB kleiner als nicht-QAT. Bessere Qualität bei Q4.
---
### 8. LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF
**Qwen3.6 35B MoE (3B aktiv) — Uncensored**
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|--------------|-----------|------------|---------------|---------------|
| IQ4_NL | 18,42 GB | ~21–25 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored.IQ4_NL.gguf) |
| IQ4_XS | 17,44 GB | ~20–24 GB | 🟢 Gut (IQ, kleiner) | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored.IQ4_XS.gguf) |
| IQ3_M | 14,38 GB | ~17–21 GB | 🟡 Akzeptabel | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored.IQ3_M.gguf) |
| Q4_K_P | 21,82 GB | ~24–28 GB | 🟢 Gut | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored.Q4_K_P.gguf) |
| MXFP4_MOE | 20,22 GB | ~23–27 GB | 🟢 Gut (MoE-optimiert) | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored.MXFP4_MOE.gguf) |
| APEX-Compact | 16,14 GB | ~19–23 GB | 🟢 Gut (APEX) | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored-APEX-Compact.gguf) |
**Highlights:** MoE mit nur 3B aktiv — extrem schnelle Inferenz. Uncensored. APEX-Quantisierung (hybride Format). Wasserstein-Distance-optimiert.
---
### 9. unsloth/gemma-4-31B-it-qat-GGUF
**Gemma 4 31B — QAT (Quantization-Aware Training)**
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|--------------|-----------|------------|---------------|---------------|
| UD-Q4_K_XL | 16,10 GB | ~19–23 GB | 🟢 Gut (QAT-optimiert) | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-qat-GGUF/resolve/main/gemma-4-31B-it-qat-UD-Q4_K_XL.gguf) |
**Highlights:** QAT-Variante des 31B-Modells. ~1,4 GB kleiner als nicht-QAT. Beste Consumer-Qualität in dieser Größenklasse.
---
## 🎯 Empfehlungen nach Einsatzzweck
| Einsatzzweck | Empfohlenes Modell | Quantisierung | RAM |
|-------------|-------------------|---------------|-----|
| **Allround / Coding** | gemma-4-12b-it-GGUF | UD-Q4_K_XL | 8–10 GB |
| **Laptop / Mobile** | gemma-4-E4B-it-GGUF | UD-Q4_K_XL | 6–8 GB |
| **Uncensored Coding** | Qwen3.6-27B-Heretic-NEO-CODE | Q4_K_M | 18–22 GB |
| **Beste Consumer-Qualität** | gemma-4-31B-it-qat-GGUF | UD-Q4_K_XL | 19–23 GB |
| **MoE-Effizienz (schnell)** | gemma-4-26B-A4B-it-GGUF | UD-Q4_K_XL | 18–22 GB |
| **Maximale Qualität (12B)** | gemma-4-12b-it-GGUF | Q6_K oder Q8_0 | 11–16 GB |
---
## 📝 Legende
- **RAM-Bedarf***: Dateigröße + ~2 GB für KV-Cache/Overhead (bei 8K–32K Kontext). Bei 256K Kontext deutlich mehr.
- **Qualitätsstufen**: 🟣 Sehr hoch (Q8) → 🔵 Hoch (Q6) → 🔵 Sehr gut (Q5) → 🟢 Gut (Q4) → 🟡 Akzeptabel (Q3) → 🟠 Niedrig (Q2)
- **UD = Unsloth Dynamic**: Optimierte Quantisierung von Unsloth mit besseren Perplexity-Werten
- **IQ = Importance Matrix**: Gewichtete Quantisierung — wichtige Layer bekommen mehr Bits
- **QAT = Quantization-Aware Training**: Modell wurde mit Quantisierung im Training optimiert
- **MXFP4_MOE**: Microxcaling FP4 — speziell für MoE-Modelle optimiertes Format
- **APEX**: Hybrides Quantisierungsformat von LuffyTheFox
---
## ⚠️ Hinweise
1. **Keine Modelle mit 7B Parametern** wurden in den letzten 7 Tagen neu veröffentlicht. Die Gemma-4-Serie (8B–31B) und Qwen3.6-Finetunes dominieren.
2. **Gemma 4 ist der klare Trend** — 6 der 9 neuen Modelle sind Gemma-4-Varianten von Google DeepMind (veröffentlicht ca. 5. Juni 2026).
3. **QAT-Varianten** (unsloth) bieten bessere Qualität bei gleicher Dateigröße — immer bevorzugen, wenn verfügbar.
4. Alle Modelle sind **Apache 2.0** lizenziert (kommerziell nutzbar).
5. Die Unsloth-Dynamic-Quantisierungen (UD-*) sind in der Regel den Standard-Q-Quantisierungen überlegen.
---
*Bericht erstellt am 14. Juni 2026 | Datenquelle: HuggingFace API + LFS-Metadaten*
Reference in New Issue View Git Blame Copy Permalink