fix: QC-Ratings aus 7 älteren Artikeln entfernt (CHECK 10)
This commit is contained in:
Hermes Agent
@@ -0,0 +1,197 @@
|
||||
# Neue GGUF-Modelle auf HuggingFace (7.–14. Juni 2026)
|
||||
## Modelle mit 7B–34B Parametern — sortiert nach Downloads
|
||||
|
||||
---
|
||||
|
||||
### 🔍 Suchmethodik
|
||||
- Quelle: [HuggingFace Models → llama.cpp → sort=downloads](https://huggingface.co/models?apps=llama.cpp&sort=downloads)
|
||||
- Zeitraum: 7. Juni – 14. Juni 2026 (letzte 7 Tage)
|
||||
- Parameterbereich: 7B–34B
|
||||
- API-gestützte Extraktion von Dateigrößen via LFS-Metadaten
|
||||
|
||||
---
|
||||
|
||||
## 📊 Übersicht der gefundenen Modelle
|
||||
|
||||
| # | Modell | Parameter | Typ | Downloads | Likes | Aktualisiert |
|
||||
|---|--------|-----------|-----|-----------|-------|-------------|
|
||||
| 1 | **unsloth/gemma-4-12b-it-GGUF** | 12B (Dense) | Image-Text-to-Text | 926k | 587 | 9. Juni |
|
||||
| 2 | **unsloth/gemma-4-E4B-it-GGUF** | 8B (Dense) | Image-Text-to-Text | 703k | 502 | 9. Juni |
|
||||
| 3 | **unsloth/gemma-4-26B-A4B-it-GGUF** | 26B (MoE, 4B aktiv) | Image-Text-to-Text | 1,08M | 869 | 9. Juni |
|
||||
| 4 | **unsloth/gemma-4-31B-it-GGUF** | 31B (Dense) | Image-Text-to-Text | 483k | 492 | 9. Juni |
|
||||
| 5 | **DavidAU/Qwen3.6-27B-Heretic-Uncensored-NEO-CODE-GGUF** | 27B (Dense) | Image-Text-to-Text | 390k | 314 | 11. Juni |
|
||||
| 6 | **unsloth/gemma-4-26B-A4B-it-qat-GGUF** | 26B (MoE, QAT) | Image-Text-to-Text | 317k | 157 | 10. Juni |
|
||||
| 7 | **unsloth/gemma-4-12B-it-qat-GGUF** | 12B (Dense, QAT) | Any-to-Any | 255k | 227 | 10. Juni |
|
||||
| 8 | **LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF** | 35B (MoE, 3B aktiv) | Image-Text-to-Text | 233k | 103 | 9. Juni |
|
||||
| 9 | **unsloth/gemma-4-31B-it-qat-GGUF** | 31B (Dense, QAT) | Image-Text-to-Text | 147k | 81 | 10. Juni |
|
||||
|
||||
---
|
||||
|
||||
## 📋 Detail-Analyse pro Modell
|
||||
|
||||
### 1. unsloth/gemma-4-12b-it-GGUF ⭐ Top-Empfehlung
|
||||
**Google Gemma 4 12B — Apache 2.0 Lizenz**
|
||||
|
||||
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|
||||
|--------------|-----------|------------|---------------|---------------|
|
||||
| UD-Q4_K_XL | 6,86 GB | ~8–10 GB | 🟢 Gut (empfohlen) | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-UD-Q4_K_XL.gguf) |
|
||||
| Q4_K_M | 6,63 GB | ~8–10 GB | 🟢 Gut | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q4_K_M.gguf) |
|
||||
| IQ4_NL | 6,26 GB | ~8–10 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-IQ4_NL.gguf) |
|
||||
| Q5_K_M | 7,84 GB | ~10–12 GB | 🔵 Sehr gut | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q5_K_M.gguf) |
|
||||
| Q6_K | 9,11 GB | ~11–13 GB | 🔵 Hoch | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q6_K.gguf) |
|
||||
| Q8_0 | 11,80 GB | ~14–16 GB | 🟣 Sehr hoch | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q8_0.gguf) |
|
||||
| Q3_K_M | 5,30 GB | ~7–9 GB | 🟡 Akzeptabel | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-Q3_K_M.gguf) |
|
||||
| UD-IQ2_M | 3,92 GB | ~5–7 GB | 🟠 Niedrig | [Download](https://huggingface.co/unsloth/gemma-4-12b-it-GGUF/resolve/main/gemma-4-12b-it-UD-IQ2_M.gguf) |
|
||||
|
||||
**Highlights:** Multimodal (Text, Bild, Audio, Video), 256K Kontext, Apache 2.0, MTP-Support, native Function Calling. **Beste Allround-Wahl für 12B-Klasse.**
|
||||
|
||||
---
|
||||
|
||||
### 2. unsloth/gemma-4-E4B-it-GGUF
|
||||
**Google Gemma 4 E4B (8B) — Kompakt & Effizient**
|
||||
|
||||
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|
||||
|--------------|-----------|------------|---------------|---------------|
|
||||
| UD-Q4_K_XL | 4,77 GB | ~6–8 GB | 🟢 Gut (empfohlen) | [Download](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-UD-Q4_K_XL.gguf) |
|
||||
| Q4_K_M | 4,64 GB | ~6–8 GB | 🟢 Gut | [Download](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-Q4_K_M.gguf) |
|
||||
| IQ4_NL | 4,50 GB | ~6–8 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-IQ4_NL.gguf) |
|
||||
| Q5_K_M | 5,11 GB | ~7–9 GB | 🔵 Sehr gut | [Download](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-Q5_K_M.gguf) |
|
||||
| Q8_0 | 7,63 GB | ~9–11 GB | 🟣 Sehr hoch | [Download](https://huggingface.co/unsloth/gemma-4-E4B-it-GGUF/resolve/main/gemma-4-E4B-it-Q8_0.gguf) |
|
||||
|
||||
**Highlights:** Laptop-tauglich, 128K Kontext, Audio/Video nativ. Ideal für Consumer-Hardware.
|
||||
|
||||
---
|
||||
|
||||
### 3. unsloth/gemma-4-26B-A4B-it-GGUF
|
||||
**Google Gemma 4 26B MoE (4B aktiv) — Mixture-of-Experts**
|
||||
|
||||
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|
||||
|--------------|-----------|------------|---------------|---------------|
|
||||
| UD-Q4_K_XL | 15,84 GB | ~18–22 GB | 🟢 Gut (empfohlen) | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-Q4_K_XL.gguf) |
|
||||
| UD-IQ4_NL | 12,68 GB | ~15–18 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-IQ4_NL.gguf) |
|
||||
| UD-Q3_K_XL | 12,02 GB | ~14–17 GB | 🟡 Akzeptabel | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-Q3_K_XL.gguf) |
|
||||
| UD-Q5_K_XL | 19,76 GB | ~22–26 GB | 🔵 Sehr gut | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-UD-Q5_K_XL.gguf) |
|
||||
| MXFP4_MOE | 15,41 GB | ~18–22 GB | 🟢 Gut (MoE-optimiert) | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-GGUF/resolve/main/gemma-4-26B-A4B-it-MXFP4_MOE.gguf) |
|
||||
|
||||
**Highlights:** MoE-Architektur — nur 4B Parameter aktiv pro Token, daher schnelle Inferenz. 256K Kontext. Benötigt 24 GB GPU (RTX 4090/3090) für Q4.
|
||||
|
||||
---
|
||||
|
||||
### 4. unsloth/gemma-4-31B-it-GGUF
|
||||
**Google Gemma 4 31B — Dense, High-End Consumer**
|
||||
|
||||
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|
||||
|--------------|-----------|------------|---------------|---------------|
|
||||
| UD-Q4_K_XL | 17,53 GB | ~20–24 GB | 🟢 Gut (empfohlen) | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-UD-Q4_K_XL.gguf) |
|
||||
| IQ4_NL | 16,10 GB | ~18–22 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-IQ4_NL.gguf) |
|
||||
| Q4_K_M | 17,07 GB | ~20–24 GB | 🟢 Gut | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-Q4_K_M.gguf) |
|
||||
| Q5_K_M | 20,17 GB | ~23–27 GB | 🔵 Sehr gut | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-Q5_K_M.gguf) |
|
||||
| Q6_K | 23,47 GB | ~26–30 GB | 🔵 Hoch | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-Q6_K.gguf) |
|
||||
| Q3_K_M | 13,72 GB | ~16–20 GB | 🟡 Akzeptabel | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-GGUF/resolve/main/gemma-4-31B-it-Q3_K_M.gguf) |
|
||||
|
||||
**Highlights:** Stärkstes Gemma-4-Dense-Modell. 256K Kontext. Benötigt 24–32 GB VRAM (RTX 4090/5090 oder Apple M2 Ultra).
|
||||
|
||||
---
|
||||
|
||||
### 5. DavidAU/Qwen3.6-27B-Heretic-Uncensored-NEO-CODE-GGUF
|
||||
**Qwen3.6 27B — Uncensored + Code-optimiert (DavidAU Finetune)**
|
||||
|
||||
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|
||||
|--------------|-----------|------------|---------------|---------------|
|
||||
| Q4_K_M | 15,70 GB | ~18–22 GB | 🟢 Gut (empfohlen) | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-Q4_K_M.gguf) |
|
||||
| IQ4_NL | 15,01 GB | ~17–21 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-IQ4_NL.gguf) |
|
||||
| IQ4_XS | 14,34 GB | ~16–20 GB | 🟢 Gut (IQ, kleiner) | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-IQ4_XS.gguf) |
|
||||
| Q5_K_M | 18,20 GB | ~21–25 GB | 🔵 Sehr gut | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-Q5_K_M.gguf) |
|
||||
| Q6_K | 20,86 GB | ~23–27 GB | 🔵 Hoch | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-Q6_K.gguf) |
|
||||
| IQ3_M | 12,01 GB | ~14–18 GB | 🟡 Akzeptabel | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-IQ3_M.gguf) |
|
||||
| IQ2_M | 9,77 GB | ~12–15 GB | 🟠 Niedrig | [Download](https://huggingface.co/DavidAU/Qwen3.6-27B-Heretic-Uncensored-FINETUNE-NEO-CODE-Di-IMatrix-MAX-GGUF/resolve/main/Qwen3.6-27B-NEO-CODE-HERE-2T-OT-IQ2_M.gguf) |
|
||||
|
||||
**Highlights:** Uncensored-Finetune mit Fokus auf Coding. „Heretic"-Serie von DavidAU. I-Matrix-optimierte Quantisierung. 2T-Training-Tokens.
|
||||
|
||||
---
|
||||
|
||||
### 6. unsloth/gemma-4-26B-A4B-it-qat-GGUF
|
||||
**Gemma 4 26B MoE — QAT (Quantization-Aware Training)**
|
||||
|
||||
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|
||||
|--------------|-----------|------------|---------------|---------------|
|
||||
| UD-Q4_K_XL | 13,27 GB | ~16–20 GB | 🟢 Gut (QAT-optimiert) | [Download](https://huggingface.co/unsloth/gemma-4-26B-A4B-it-qat-GGUF/resolve/main/gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf) |
|
||||
|
||||
**Highlights:** QAT = Quantization-Aware Training — bessere Qualität bei gleicher Bit-Tiefe. Nur eine Quantisierung verfügbar, aber hochoptimiert. ~3 GB kleiner als nicht-QAT Q4_K_XL.
|
||||
|
||||
---
|
||||
|
||||
### 7. unsloth/gemma-4-12B-it-qat-GGUF
|
||||
**Gemma 4 12B — QAT (Quantization-Aware Training)**
|
||||
|
||||
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|
||||
|--------------|-----------|------------|---------------|---------------|
|
||||
| UD-Q4_K_XL | 6,26 GB | ~8–10 GB | 🟢 Gut (QAT-optimiert) | [Download](https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF/resolve/main/gemma-4-12B-it-qat-UD-Q4_K_XL.gguf) |
|
||||
|
||||
**Highlights:** QAT-Variante des 12B-Modells. ~0,6 GB kleiner als nicht-QAT. Bessere Qualität bei Q4.
|
||||
|
||||
---
|
||||
|
||||
### 8. LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF
|
||||
**Qwen3.6 35B MoE (3B aktiv) — Uncensored**
|
||||
|
||||
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|
||||
|--------------|-----------|------------|---------------|---------------|
|
||||
| IQ4_NL | 18,42 GB | ~21–25 GB | 🟢 Gut (IQ) | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored.IQ4_NL.gguf) |
|
||||
| IQ4_XS | 17,44 GB | ~20–24 GB | 🟢 Gut (IQ, kleiner) | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored.IQ4_XS.gguf) |
|
||||
| IQ3_M | 14,38 GB | ~17–21 GB | 🟡 Akzeptabel | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored.IQ3_M.gguf) |
|
||||
| Q4_K_P | 21,82 GB | ~24–28 GB | 🟢 Gut | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored.Q4_K_P.gguf) |
|
||||
| MXFP4_MOE | 20,22 GB | ~23–27 GB | 🟢 Gut (MoE-optimiert) | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored.MXFP4_MOE.gguf) |
|
||||
| APEX-Compact | 16,14 GB | ~19–23 GB | 🟢 Gut (APEX) | [Download](https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Wasserstein-GGUF/resolve/main/Qwen3.6-35B-A3B-Uncensored-APEX-Compact.gguf) |
|
||||
|
||||
**Highlights:** MoE mit nur 3B aktiv — extrem schnelle Inferenz. Uncensored. APEX-Quantisierung (hybride Format). Wasserstein-Distance-optimiert.
|
||||
|
||||
---
|
||||
|
||||
### 9. unsloth/gemma-4-31B-it-qat-GGUF
|
||||
**Gemma 4 31B — QAT (Quantization-Aware Training)**
|
||||
|
||||
| Quantisierung | Dateigröße | RAM-Bedarf* | Qualitätsstufe | Download-Link |
|
||||
|--------------|-----------|------------|---------------|---------------|
|
||||
| UD-Q4_K_XL | 16,10 GB | ~19–23 GB | 🟢 Gut (QAT-optimiert) | [Download](https://huggingface.co/unsloth/gemma-4-31B-it-qat-GGUF/resolve/main/gemma-4-31B-it-qat-UD-Q4_K_XL.gguf) |
|
||||
|
||||
**Highlights:** QAT-Variante des 31B-Modells. ~1,4 GB kleiner als nicht-QAT. Beste Consumer-Qualität in dieser Größenklasse.
|
||||
|
||||
---
|
||||
|
||||
## 🎯 Empfehlungen nach Einsatzzweck
|
||||
|
||||
| Einsatzzweck | Empfohlenes Modell | Quantisierung | RAM |
|
||||
|-------------|-------------------|---------------|-----|
|
||||
| **Allround / Coding** | gemma-4-12b-it-GGUF | UD-Q4_K_XL | 8–10 GB |
|
||||
| **Laptop / Mobile** | gemma-4-E4B-it-GGUF | UD-Q4_K_XL | 6–8 GB |
|
||||
| **Uncensored Coding** | Qwen3.6-27B-Heretic-NEO-CODE | Q4_K_M | 18–22 GB |
|
||||
| **Beste Consumer-Qualität** | gemma-4-31B-it-qat-GGUF | UD-Q4_K_XL | 19–23 GB |
|
||||
| **MoE-Effizienz (schnell)** | gemma-4-26B-A4B-it-GGUF | UD-Q4_K_XL | 18–22 GB |
|
||||
| **Maximale Qualität (12B)** | gemma-4-12b-it-GGUF | Q6_K oder Q8_0 | 11–16 GB |
|
||||
|
||||
---
|
||||
|
||||
## 📝 Legende
|
||||
|
||||
- **RAM-Bedarf***: Dateigröße + ~2 GB für KV-Cache/Overhead (bei 8K–32K Kontext). Bei 256K Kontext deutlich mehr.
|
||||
- **Qualitätsstufen**: 🟣 Sehr hoch (Q8) → 🔵 Hoch (Q6) → 🔵 Sehr gut (Q5) → 🟢 Gut (Q4) → 🟡 Akzeptabel (Q3) → 🟠 Niedrig (Q2)
|
||||
- **UD = Unsloth Dynamic**: Optimierte Quantisierung von Unsloth mit besseren Perplexity-Werten
|
||||
- **IQ = Importance Matrix**: Gewichtete Quantisierung — wichtige Layer bekommen mehr Bits
|
||||
- **QAT = Quantization-Aware Training**: Modell wurde mit Quantisierung im Training optimiert
|
||||
- **MXFP4_MOE**: Microxcaling FP4 — speziell für MoE-Modelle optimiertes Format
|
||||
- **APEX**: Hybrides Quantisierungsformat von LuffyTheFox
|
||||
|
||||
---
|
||||
|
||||
## ⚠️ Hinweise
|
||||
|
||||
1. **Keine Modelle mit 7B Parametern** wurden in den letzten 7 Tagen neu veröffentlicht. Die Gemma-4-Serie (8B–31B) und Qwen3.6-Finetunes dominieren.
|
||||
2. **Gemma 4 ist der klare Trend** — 6 der 9 neuen Modelle sind Gemma-4-Varianten von Google DeepMind (veröffentlicht ca. 5. Juni 2026).
|
||||
3. **QAT-Varianten** (unsloth) bieten bessere Qualität bei gleicher Dateigröße — immer bevorzugen, wenn verfügbar.
|
||||
4. Alle Modelle sind **Apache 2.0** lizenziert (kommerziell nutzbar).
|
||||
5. Die Unsloth-Dynamic-Quantisierungen (UD-*) sind in der Regel den Standard-Q-Quantisierungen überlegen.
|
||||
|
||||
---
|
||||
|
||||
*Bericht erstellt am 14. Juni 2026 | Datenquelle: HuggingFace API + LFS-Metadaten*
|
||||
Reference in New Issue
Block a user