Hermes Agent
14 KiB
Neue GGUF-Modelle auf HuggingFace (7.–14. Juni 2026)
Modelle mit 7B–34B Parametern — sortiert nach Downloads
🔍 Suchmethodik
- Quelle: HuggingFace Models → llama.cpp → sort=downloads
- Zeitraum: 7. Juni – 14. Juni 2026 (letzte 7 Tage)
- Parameterbereich: 7B–34B
- API-gestützte Extraktion von Dateigrößen via LFS-Metadaten
📊 Übersicht der gefundenen Modelle
| # | Modell | Parameter | Typ | Downloads | Likes | Aktualisiert |
|---|---|---|---|---|---|---|
| 1 | unsloth/gemma-4-12b-it-GGUF | 12B (Dense) | Image-Text-to-Text | 926k | 587 | 9. Juni |
| 2 | unsloth/gemma-4-E4B-it-GGUF | 8B (Dense) | Image-Text-to-Text | 703k | 502 | 9. Juni |
| 3 | unsloth/gemma-4-26B-A4B-it-GGUF | 26B (MoE, 4B aktiv) | Image-Text-to-Text | 1,08M | 869 | 9. Juni |
| 4 | unsloth/gemma-4-31B-it-GGUF | 31B (Dense) | Image-Text-to-Text | 483k | 492 | 9. Juni |
| 5 | DavidAU/Qwen3.6-27B-Heretic-Uncensored-NEO-CODE-GGUF | 27B (Dense) | Image-Text-to-Text | 390k | 314 | 11. Juni |
| 6 | unsloth/gemma-4-26B-A4B-it-qat-GGUF | 26B (MoE, QAT) | Image-Text-to-Text | 317k | 157 | 10. Juni |
| 7 | unsloth/gemma-4-12B-it-qat-GGUF | 12B (Dense, QAT) | Any-to-Any | 255k | 227 | 10. Juni |
| 8 | LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF | 35B (MoE, 3B aktiv) | Image-Text-to-Text | 233k | 103 | 9. Juni |
| 9 | unsloth/gemma-4-31B-it-qat-GGUF | 31B (Dense, QAT) | Image-Text-to-Text | 147k | 81 | 10. Juni |
📋 Detail-Analyse pro Modell
1. unsloth/gemma-4-12b-it-GGUF ⭐ Top-Empfehlung
Google Gemma 4 12B — Apache 2.0 Lizenz
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|---|---|---|---|---|
| UD-Q4_K_XL | 6,86 GB | ~8–10 GB | 🟢 Gut (empfohlen) | Download |
| Q4_K_M | 6,63 GB | ~8–10 GB | 🟢 Gut | Download |
| IQ4_NL | 6,26 GB | ~8–10 GB | 🟢 Gut (IQ) | Download |
| Q5_K_M | 7,84 GB | ~10–12 GB | 🔵 Sehr gut | Download |
| Q6_K | 9,11 GB | ~11–13 GB | 🔵 Hoch | Download |
| Q8_0 | 11,80 GB | ~14–16 GB | 🟣 Sehr hoch | Download |
| Q3_K_M | 5,30 GB | ~7–9 GB | 🟡 Akzeptabel | Download |
| UD-IQ2_M | 3,92 GB | ~5–7 GB | 🟠 Niedrig | Download |
Highlights: Multimodal (Text, Bild, Audio, Video), 256K Kontext, Apache 2.0, MTP-Support, native Function Calling. Beste Allround-Wahl für 12B-Klasse.
2. unsloth/gemma-4-E4B-it-GGUF
Google Gemma 4 E4B (8B) — Kompakt & Effizient
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|---|---|---|---|---|
| UD-Q4_K_XL | 4,77 GB | ~6–8 GB | 🟢 Gut (empfohlen) | Download |
| Q4_K_M | 4,64 GB | ~6–8 GB | 🟢 Gut | Download |
| IQ4_NL | 4,50 GB | ~6–8 GB | 🟢 Gut (IQ) | Download |
| Q5_K_M | 5,11 GB | ~7–9 GB | 🔵 Sehr gut | Download |
| Q8_0 | 7,63 GB | ~9–11 GB | 🟣 Sehr hoch | Download |
Highlights: Laptop-tauglich, 128K Kontext, Audio/Video nativ. Ideal für Consumer-Hardware.
3. unsloth/gemma-4-26B-A4B-it-GGUF
Google Gemma 4 26B MoE (4B aktiv) — Mixture-of-Experts
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|---|---|---|---|---|
| UD-Q4_K_XL | 15,84 GB | ~18–22 GB | 🟢 Gut (empfohlen) | Download |
| UD-IQ4_NL | 12,68 GB | ~15–18 GB | 🟢 Gut (IQ) | Download |
| UD-Q3_K_XL | 12,02 GB | ~14–17 GB | 🟡 Akzeptabel | Download |
| UD-Q5_K_XL | 19,76 GB | ~22–26 GB | 🔵 Sehr gut | Download |
| MXFP4_MOE | 15,41 GB | ~18–22 GB | 🟢 Gut (MoE-optimiert) | Download |
Highlights: MoE-Architektur — nur 4B Parameter aktiv pro Token, daher schnelle Inferenz. 256K Kontext. Benötigt 24 GB GPU (RTX 4090/3090) für Q4.
4. unsloth/gemma-4-31B-it-GGUF
Google Gemma 4 31B — Dense, High-End Consumer
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|---|---|---|---|---|
| UD-Q4_K_XL | 17,53 GB | ~20–24 GB | 🟢 Gut (empfohlen) | Download |
| IQ4_NL | 16,10 GB | ~18–22 GB | 🟢 Gut (IQ) | Download |
| Q4_K_M | 17,07 GB | ~20–24 GB | 🟢 Gut | Download |
| Q5_K_M | 20,17 GB | ~23–27 GB | 🔵 Sehr gut | Download |
| Q6_K | 23,47 GB | ~26–30 GB | 🔵 Hoch | Download |
| Q3_K_M | 13,72 GB | ~16–20 GB | 🟡 Akzeptabel | Download |
Highlights: Stärkstes Gemma-4-Dense-Modell. 256K Kontext. Benötigt 24–32 GB VRAM (RTX 4090/5090 oder Apple M2 Ultra).
5. DavidAU/Qwen3.6-27B-Heretic-Uncensored-NEO-CODE-GGUF
Qwen3.6 27B — Uncensored + Code-optimiert (DavidAU Finetune)
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|---|---|---|---|---|
| Q4_K_M | 15,70 GB | ~18–22 GB | 🟢 Gut (empfohlen) | Download |
| IQ4_NL | 15,01 GB | ~17–21 GB | 🟢 Gut (IQ) | Download |
| IQ4_XS | 14,34 GB | ~16–20 GB | 🟢 Gut (IQ, kleiner) | Download |
| Q5_K_M | 18,20 GB | ~21–25 GB | 🔵 Sehr gut | Download |
| Q6_K | 20,86 GB | ~23–27 GB | 🔵 Hoch | Download |
| IQ3_M | 12,01 GB | ~14–18 GB | 🟡 Akzeptabel | Download |
| IQ2_M | 9,77 GB | ~12–15 GB | 🟠 Niedrig | Download |
Highlights: Uncensored-Finetune mit Fokus auf Coding. „Heretic"-Serie von DavidAU. I-Matrix-optimierte Quantisierung. 2T-Training-Tokens.
6. unsloth/gemma-4-26B-A4B-it-qat-GGUF
Gemma 4 26B MoE — QAT (Quantization-Aware Training)
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|---|---|---|---|---|
| UD-Q4_K_XL | 13,27 GB | ~16–20 GB | 🟢 Gut (QAT-optimiert) | Download |
Highlights: QAT = Quantization-Aware Training — bessere Qualität bei gleicher Bit-Tiefe. Nur eine Quantisierung verfügbar, aber hochoptimiert. ~3 GB kleiner als nicht-QAT Q4_K_XL.
7. unsloth/gemma-4-12B-it-qat-GGUF
Gemma 4 12B — QAT (Quantization-Aware Training)
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|---|---|---|---|---|
| UD-Q4_K_XL | 6,26 GB | ~8–10 GB | 🟢 Gut (QAT-optimiert) | Download |
Highlights: QAT-Variante des 12B-Modells. ~0,6 GB kleiner als nicht-QAT. Bessere Qualität bei Q4.
8. LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF
Qwen3.6 35B MoE (3B aktiv) — Uncensored
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|---|---|---|---|---|
| IQ4_NL | 18,42 GB | ~21–25 GB | 🟢 Gut (IQ) | Download |
| IQ4_XS | 17,44 GB | ~20–24 GB | 🟢 Gut (IQ, kleiner) | Download |
| IQ3_M | 14,38 GB | ~17–21 GB | 🟡 Akzeptabel | Download |
| Q4_K_P | 21,82 GB | ~24–28 GB | 🟢 Gut | Download |
| MXFP4_MOE | 20,22 GB | ~23–27 GB | 🟢 Gut (MoE-optimiert) | Download |
| APEX-Compact | 16,14 GB | ~19–23 GB | 🟢 Gut (APEX) | Download |
Highlights: MoE mit nur 3B aktiv — extrem schnelle Inferenz. Uncensored. APEX-Quantisierung (hybride Format). Wasserstein-Distance-optimiert.
9. unsloth/gemma-4-31B-it-qat-GGUF
Gemma 4 31B — QAT (Quantization-Aware Training)
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|---|---|---|---|---|
| UD-Q4_K_XL | 16,10 GB | ~19–23 GB | 🟢 Gut (QAT-optimiert) | Download |
Highlights: QAT-Variante des 31B-Modells. ~1,4 GB kleiner als nicht-QAT. Beste Consumer-Qualität in dieser Größenklasse.
🎯 Empfehlungen nach Einsatzzweck
| Einsatzzweck | Empfohlenes Modell | Quantisierung | RAM |
|---|---|---|---|
| Allround / Coding | gemma-4-12b-it-GGUF | UD-Q4_K_XL | 8–10 GB |
| Laptop / Mobile | gemma-4-E4B-it-GGUF | UD-Q4_K_XL | 6–8 GB |
| Uncensored Coding | Qwen3.6-27B-Heretic-NEO-CODE | Q4_K_M | 18–22 GB |
| Beste Consumer-Qualität | gemma-4-31B-it-qat-GGUF | UD-Q4_K_XL | 19–23 GB |
| MoE-Effizienz (schnell) | gemma-4-26B-A4B-it-GGUF | UD-Q4_K_XL | 18–22 GB |
| Maximale Qualität (12B) | gemma-4-12b-it-GGUF | Q6_K oder Q8_0 | 11–16 GB |
📝 Legende
- RAM-Bedarf*: Dateigröße + ~2 GB für KV-Cache/Overhead (bei 8K–32K Kontext). Bei 256K Kontext deutlich mehr.
- Qualitätsstufen: 🟣 Sehr hoch (Q8) → 🔵 Hoch (Q6) → 🔵 Sehr gut (Q5) → 🟢 Gut (Q4) → 🟡 Akzeptabel (Q3) → 🟠 Niedrig (Q2)
- UD = Unsloth Dynamic: Optimierte Quantisierung von Unsloth mit besseren Perplexity-Werten
- IQ = Importance Matrix: Gewichtete Quantisierung — wichtige Layer bekommen mehr Bits
- QAT = Quantization-Aware Training: Modell wurde mit Quantisierung im Training optimiert
- MXFP4_MOE: Microxcaling FP4 — speziell für MoE-Modelle optimiertes Format
- APEX: Hybrides Quantisierungsformat von LuffyTheFox
⚠️ Hinweise
- Keine Modelle mit 7B Parametern wurden in den letzten 7 Tagen neu veröffentlicht. Die Gemma-4-Serie (8B–31B) und Qwen3.6-Finetunes dominieren.
- Gemma 4 ist der klare Trend — 6 der 9 neuen Modelle sind Gemma-4-Varianten von Google DeepMind (veröffentlicht ca. 5. Juni 2026).
- QAT-Varianten (unsloth) bieten bessere Qualität bei gleicher Dateigröße — immer bevorzugen, wenn verfügbar.
- Alle Modelle sind Apache 2.0 lizenziert (kommerziell nutzbar).
- Die Unsloth-Dynamic-Quantisierungen (UD-*) sind in der Regel den Standard-Q-Quantisierungen überlegen.
Bericht erstellt am 14. Juni 2026 | Datenquelle: HuggingFace API + LFS-Metadaten