Hermes Agent
7.2 KiB
7.2 KiB
Handschrifterkennung & Klausurbewertung: Stand der Technik (Juni 2026)
Zusammenfassung
Umfassende Recherche zu Vision-LLMs, lokalen Modellen und spezialisierten OCR-Tools für deutsche Handschrifterkennung mit Fokus auf Klausurbewertung (Pipeline: OCR -> LLM-Bewertung).
1. Cloud-Lösungen (Vision-LLMs für OCR/Handschrift)
GPT-4o (OpenAI)
- Exzellente General-Purpose Vision, gute Handschrifterkennung durch Kontext
- Kosten: ~$5-15/1M Input-Tokens
- Gut als Fallback oder für Bewertungsstufe
Claude Opus 4 / Sonnet 4 Vision (Anthropic)
- Stark bei Dokumentenverstandnis und strukturierter Extraktion
- Hervorragend für Bewertungsstufe (Korrektur), weniger für reines OCR
- Kosten: Opus 4: $15/1M, Sonnet 4: $3/1M
Gemini 2.5 Pro / 2.5 Flash (Google) [Cloud-Empfehlung]
- Flash: extrem kosteneffizient und schnell
- Native Dokumentenverarbeitung (Document AI)
- Marker (PDF->Markdown) nutzt Gemini als LLM-Backend
- Kosten: Flash ~$0.15/1M, Pro $1.25/1M
- Top-Wahl fur kosteneffiziente Cloud-OCR + Bewertung
Qwen-VL / Qwen2.5-VL / Qwen3-VL (Alibaba)
- 32 Sprachen, robust bei Unscharfe/Neigung
- Open-Source + Cloud-API (DashScope)
Grok Vision (xAI)
- Wenig dokumentierte OCR-Benchmarks, nicht erste Wahl
Weitere Cloud-OCR-Dienste
- Azure AI Document Intelligence, Amazon Textract, Google Document AI
2. Lokal lauffahige Modelle (Ollama-kompatibel, 24-64 GB VRAM)
Qwen2.5-VL Serie
| Modell | Parameter | BF16 VRAM | INT4 VRAM | Ollama |
|---|---|---|---|---|
| Qwen2.5-VL-3B | 3.8B | ~5.7 GB | ~1.5 GB | Ja |
| Qwen2.5-VL-7B | 8.3B | ~13 GB | ~3.3 GB | Ja |
| Qwen2.5-VL-72B | 73.4B | ~133 GB | ~33 GB | Ja |
- 32 Sprachen, erweiterte OCR, Quelle: github.com/QwenLM/Qwen2.5-VL
Qwen3-VL (MoE-Architektur)
- Qwen3-VL-30B-A3B: 31.1B total, nur 3B aktiv -> extrem effizient
- Noch besseres Dokumentenparsing als Qwen2.5-VL
InternVL2 Serie
| Modell | Parameter | VRAM ca. |
|---|---|---|
| InternVL2-1B | 1B | ~2 GB |
| InternVL2-4B | 4B | ~8 GB |
| InternVL2-8B | 8B | ~16 GB |
| InternVL2-26B | 26B | ~52 GB |
| InternVL2-76B | 76B | ~152 GB |
- SOTA auf DocVQA (94.1% mit Pro), Quelle: github.com/OpenGVLab/InternVL
MiniCPM-V Serie [Beste fur Consumer-Hardware]
| Modell | Parameter | VRAM ca. | Ollama |
|---|---|---|---|
| MiniCPM-V 2.6 | 8B | ~16 GB | minicpm-v |
| MiniCPM-V 4.6 | 1.3B | ~3 GB | minicpm-v |
- Ubertrifft GPT-4o/GPT-4V/Gemini 1.5 Pro auf OCRBench!
- Handschrift-Demos in README, Bilder bis 1.8M Pixel
- Quelle: github.com/OpenBMB/MiniCPM-V
Weitere lokale Modelle
- Pixtral 12B: 12B+400M, ~25 GB VRAM, Apache 2.0 (huggingface.co/mistralai/Pixtral-12B-2409)
- DeepSeek-OCR: 3B, ~6.7 GB, token-effizientes OCR (ollama.com/library/deepseek-ocr)
- GLM-OCR: Multimodales OCR fur komplexes Dokumentenverstandnis
- LLaVA: 7B (~4.7 GB), 13B (~8.0 GB), llama3 (~5.5 GB), 4x Auflosung
- llama3.2-vision: 11B/90B, nicht OCR-spezialisiert
- Moondream: ~2B, sehr leichtgewichtig
3. Spezialisierte OCR-Tools
Surya OCR 2 [Top-Empfehlung dediziertes OCR]
- 650M Parameter VLM, spezialisiert auf Dokumenten-OCR
- 83.3% auf olmOCR-bench (beste unter 3B Parametern)
- 90+ Sprachen (inkl. Deutsch), Handschriftunterstutzung (explizit in README)
- 5 Seiten/Sekunde auf RTX 5090, ~1.3 GB VRAM
- Backend: vllm (GPU) oder llama.cpp (CPU/Apple Silicon)
pip install surya-ocr- Quelle: github.com/datalab-to/surya
Marker (PDF -> Markdown/JSON)
- Pipeline aus DL-Modellen, nutzt Surya fur OCR
- LLM-Integration (Gemini, Claude, OpenAI, Ollama)
- Heuristic Score: 95.67, 0.18 Sek/Seite, 3.17 GB VRAM
pip install marker-pdf- Quelle: github.com/datalab-to/marker
Chandra OCR (Datalab)
- Chandra OCR 2: 5.3B, 85.9% auf olmOCR-bench
- Chandra OCR 1: 9.0B, 83.1%
- Quelle: github.com/datalab-to/chandra
PaddleOCR / PaddleOCR-VL (Baidu)
- PaddleOCR-VL-1.6: 0.9B, 96.3% auf OmniDocBench v1.6
- 109 Sprachen, Handschriftunterstutzung
- PP-OCRv5: 100+ Sprachen, PP-StructureV3: PDF->Markdown/JSON
- Quelle: github.com/PaddlePaddle/PaddleOCR
EasyOCR
- 80+ Sprachen, einfach zu verwenden
- Handschrift: "Coming next" laut Roadmap
- Quelle: github.com/JaidedAI/EasyOCR
Tesseract OCR
- Klassisch (LSTM seit v4), Deutsch (
deu) verfugbar - Keine spezielle Handschriftunterstutzung
- Quelle: github.com/tesseract-ocr/tesseract
4. Empfohlene Pipeline: OCR -> LLM-Bewertung
Stufe 1: OCR (Handschrift -> Text)
Option A: Rein lokal (Datenschutz) [Empfohlen] Surya OCR 2 + MiniCPM-V 2.6 oder Qwen2.5-VL-7B (Verifikation)
Option B: Hybrid (Kostenoptimiert) Surya OCR 2 (lokal) + Gemini 2.5 Flash (Cloud-Korrektur)
Option C: Maximal Genauigkeit (Cloud) PaddleOCR-VL + GPT-4o oder Claude Opus 4
Stufe 2: LLM-Bewertung
- Lokal: Llama 4 (70B+), Qwen3, DeepSeek-V3
- Cloud: Claude Opus 4 (Beste Bewertungslogik), GPT-4o, Gemini 2.5 Pro
Hardware-Empfehlung (Consumer: 24-64 GB VRAM)
| Komponente | Empfohlenes Modell | VRAM |
|---|---|---|
| OCR primar | Surya OCR 2 | ~2 GB |
| OCR sekundar | MiniCPM-V 2.6 | ~16 GB |
| OCR alternativ | Qwen2.5-VL-7B (INT4) | ~4 GB |
| Bewertung | Lokales LLM (8-32B INT4) | ~8-20 GB |
| Gesamt | ~20-40 GB |
Architektur fur Klausur-Prufsystem
- Input: Scan/Foto der handschriftlichen Klausur
- Bildvorbereitung: Deskew, Binarize, Kontrast
- OCR (lokal): Surya OCR 2 (Layout + Text)
- OCR-Verifikation: MiniCPM-V 2.6 (Korrekturlesen)
- Textbereinigung: Regelbasiert + LLM (Rechtschreibung Deutsch)
- Bewertung (Cloud/lokal): Claude/DeepSeek/Llama
- Output: Note + detailliertes Feedback
5. Zusammenfassende Bewertungen
Beste fur deutsche Handschrift/Schreibschrift
- Beste Cloud-OCR: Gemini 2.5 Flash/Pro + GPT-4o
- Beste lokale OCR: Surya OCR 2 + Qwen2.5-VL-7B oder MiniCPM-V 2.6
- Schwierige Handschrift: MiniCPM-V 2.6 (OCRBench-Sieger) + Claude/GPT-4o Fallback
- Bestes Verhaltnis Genauigkeit/Kosten: Surya OCR 2 (lokal) + Gemini 2.5 Flash
Beste fur Klausurbewertung
- Bewertungs-LLM Cloud: Claude Opus 4 (prazise, strukturierte Ausgaben)
- Bewertungs-LLM Lokal: Llama-4-70B oder DeepSeek-V3
- Wichtig: Bewertung auf OCR-extrahiertem Text, NICHT direkt auf Bild!
6. Quellen & Links
- Surya OCR: https://github.com/datalab-to/surya
- Marker: https://github.com/datalab-to/marker
- Chandra OCR: https://github.com/datalab-to/chandra
- olmOCR-bench: https://huggingface.co/datasets/allenai/olmOCR-bench
- PaddleOCR: https://github.com/PaddlePaddle/PaddleOCR
- EasyOCR: https://github.com/JaidedAI/EasyOCR
- Tesseract: https://github.com/tesseract-ocr/tesseract
- Qwen2.5-VL: https://github.com/QwenLM/Qwen2.5-VL
- Qwen3-VL: https://github.com/QwenLM/Qwen3-VL
- InternVL2: https://github.com/OpenGVLab/InternVL
- MiniCPM-V: https://github.com/OpenBMB/MiniCPM-V
- Pixtral 12B: https://huggingface.co/mistralai/Pixtral-12B-2409
- DeepSeek-OCR: https://ollama.com/library/deepseek-ocr
- LLaVA: https://ollama.com/library/llava
- Gemini API: https://ai.google.dev/gemini-api/docs/models
- Qwen2.5-VL Paper: https://arxiv.org/abs/2502.13923
Recherche durchgefuhrt: 7. Juni 2026 Quellen: GitHub READMEs, Ollama Library, HuggingFace Model Cards, arxiv Papers