Hermes Agent
71 lines
2.4 KiB
Markdown
71 lines
2.4 KiB
Markdown
# Kickstarter-Tool Briefing für Cody
|
|
|
|
## Deine Aufgabe
|
|
Baue ein zuverlässiges Kickstarter-Scraping-Tool für brettspiel-news.de.
|
|
|
|
## Kontext
|
|
Kickstarter.com ist durch Cloudflare komplett blockiert. Direktes curl/wget/browser scheitert. Es wurde eine mehrstufige Fallback-Strategie entwickelt.
|
|
|
|
## Was bereits existiert
|
|
|
|
### 1. Proxy (iproyal Residential, Region Nordamerika)
|
|
```
|
|
HTTP_PROXY="http://8B7M8nJOfXTNHPUw:lR1VidJhN5RrRbeK_region-northamerica@geo.iproyal.com:12321"
|
|
```
|
|
- Typ: Residential Proxy (iproyal.com)
|
|
- Region: Nordamerika (Kickstarter-US optimal)
|
|
- Format: http://user:pass@host:port
|
|
|
|
### 2. Tavily API Key (Fallback Kickstarter-Suche)
|
|
```
|
|
TAVILY_API_KEY="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"
|
|
```
|
|
- Endpoint: POST https://api.tavily.com/extract
|
|
- Kann Kickstarter-Seiten manchmal extrahieren (auch durch Cloudflare)
|
|
- Aktuell: auch blockiert, aber manchmal funktional
|
|
|
|
### 3. Bisherige Ansätze (aus Letta/Crowdfunding-Intelligence, Mai 2026)
|
|
- Playwright + Headless Chromium
|
|
- Enhanced Stealth (Playwright-Stealth)
|
|
- Proxy-Split-Format (iproyal)
|
|
- Crowdfunding-Intelligence-Tool: `/home/hermes/.hermes/cache/documents/` (nur .pyc erhalten)
|
|
|
|
### 4. Kickstarter-Fetcher-Plan (20. Juni 2026)
|
|
Vollständiger Plan: `/home/hermes/workspace/bsn-chatbot/docs/plans/2026-06-20-kickstarter-fetcher.md`
|
|
|
|
5-Stufen-Fallback:
|
|
| Stufe | Methode | Status |
|
|
|---|---|---|
|
|
| 1 | Playwright Headless (via Proxy) | Zu implementieren |
|
|
| 2 | Tavily Extract API | Blockiert, manchmal ok |
|
|
| 3 | Wayback Machine | Funktioniert |
|
|
| 4 | Google Cache | Funktioniert |
|
|
| 5 | Pressequellen | Funktioniert immer |
|
|
|
|
### 5. Ziel-Modul
|
|
```
|
|
/home/hermes/workspace/bsn-chatbot/kickstarter_fetcher.py
|
|
```
|
|
Interface: `fetch_campaign(url) -> KickstarterCampaign`
|
|
|
|
Dataclass-Felder: url, title, pledged, goal, backers, days_left, status, description, image_url, source
|
|
|
|
### 6. Technischer Stack (bereits installiert/nutzbar)
|
|
- Python 3.13
|
|
- Venv: `/home/hermes/venv/bin/python`
|
|
- Playwright soll ins Venv installiert werden
|
|
- BeautifulSoup4
|
|
|
|
## Deine Tasks
|
|
1. Playwright + Chromium in `/home/hermes/venv` installieren
|
|
2. `kickstarter_fetcher.py` vollständig implementieren (5 Stufen)
|
|
3. Mit Proxy testen
|
|
4. Bei Erfolg: In den Recherche-Workflow integrieren
|
|
5. Git commit + push
|
|
|
|
## Wichtige Infos
|
|
- Server: 185.162.249.159, 4-Kern AMD EPYC, 8 GB RAM
|
|
- Gitea: git.datenhimmel.work
|
|
- Du arbeitest im Profil cody (~/.hermes/profiles/cody/)
|
|
- Bei Fragen: Basti fragen
|