# Kickstarter-Tool Briefing für Cody ## Deine Aufgabe Baue ein zuverlässiges Kickstarter-Scraping-Tool für brettspiel-news.de. ## Kontext Kickstarter.com ist durch Cloudflare komplett blockiert. Direktes curl/wget/browser scheitert. Es wurde eine mehrstufige Fallback-Strategie entwickelt. ## Was bereits existiert ### 1. Proxy (iproyal Residential, Region Nordamerika) ``` HTTP_PROXY="http://8B7M8nJOfXTNHPUw:lR1VidJhN5RrRbeK_region-northamerica@geo.iproyal.com:12321" ``` - Typ: Residential Proxy (iproyal.com) - Region: Nordamerika (Kickstarter-US optimal) - Format: http://user:pass@host:port ### 2. Tavily API Key (Fallback Kickstarter-Suche) ``` TAVILY_API_KEY="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" ``` - Endpoint: POST https://api.tavily.com/extract - Kann Kickstarter-Seiten manchmal extrahieren (auch durch Cloudflare) - Aktuell: auch blockiert, aber manchmal funktional ### 3. Bisherige Ansätze (aus Letta/Crowdfunding-Intelligence, Mai 2026) - Playwright + Headless Chromium - Enhanced Stealth (Playwright-Stealth) - Proxy-Split-Format (iproyal) - Crowdfunding-Intelligence-Tool: `/home/hermes/.hermes/cache/documents/` (nur .pyc erhalten) ### 4. Kickstarter-Fetcher-Plan (20. Juni 2026) Vollständiger Plan: `/home/hermes/workspace/bsn-chatbot/docs/plans/2026-06-20-kickstarter-fetcher.md` 5-Stufen-Fallback: | Stufe | Methode | Status | |---|---|---| | 1 | Playwright Headless (via Proxy) | Zu implementieren | | 2 | Tavily Extract API | Blockiert, manchmal ok | | 3 | Wayback Machine | Funktioniert | | 4 | Google Cache | Funktioniert | | 5 | Pressequellen | Funktioniert immer | ### 5. Ziel-Modul ``` /home/hermes/workspace/bsn-chatbot/kickstarter_fetcher.py ``` Interface: `fetch_campaign(url) -> KickstarterCampaign` Dataclass-Felder: url, title, pledged, goal, backers, days_left, status, description, image_url, source ### 6. Technischer Stack (bereits installiert/nutzbar) - Python 3.13 - Venv: `/home/hermes/venv/bin/python` - Playwright soll ins Venv installiert werden - BeautifulSoup4 ## Deine Tasks 1. Playwright + Chromium in `/home/hermes/venv` installieren 2. `kickstarter_fetcher.py` vollständig implementieren (5 Stufen) 3. Mit Proxy testen 4. Bei Erfolg: In den Recherche-Workflow integrieren 5. Git commit + push ## Wichtige Infos - Server: 185.162.249.159, 4-Kern AMD EPYC, 8 GB RAM - Gitea: git.datenhimmel.work - Du arbeitest im Profil cody (~/.hermes/profiles/cody/) - Bei Fragen: Basti fragen