Kickstarter-Tool Briefing für Cody

Deine Aufgabe

Baue ein zuverlässiges Kickstarter-Scraping-Tool für brettspiel-news.de.

Kontext

Kickstarter.com ist durch Cloudflare komplett blockiert. Direktes curl/wget/browser scheitert. Es wurde eine mehrstufige Fallback-Strategie entwickelt.

Was bereits existiert

1. Proxy (iproyal Residential, Region Nordamerika)

HTTP_PROXY="http://8B7M8nJOfXTNHPUw:lR1VidJhN5RrRbeK_region-northamerica@geo.iproyal.com:12321"

Typ: Residential Proxy (iproyal.com)
Region: Nordamerika (Kickstarter-US optimal)
Format: http://user:pass@host:port

2. Tavily API Key (Fallback Kickstarter-Suche)

TAVILY_API_KEY="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"

Endpoint: POST https://api.tavily.com/extract
Kann Kickstarter-Seiten manchmal extrahieren (auch durch Cloudflare)
Aktuell: auch blockiert, aber manchmal funktional

3. Bisherige Ansätze (aus Letta/Crowdfunding-Intelligence, Mai 2026)

Playwright + Headless Chromium
Enhanced Stealth (Playwright-Stealth)
Proxy-Split-Format (iproyal)
Crowdfunding-Intelligence-Tool: /home/hermes/.hermes/cache/documents/ (nur .pyc erhalten)

4. Kickstarter-Fetcher-Plan (20. Juni 2026)

Vollständiger Plan: /home/hermes/workspace/bsn-chatbot/docs/plans/2026-06-20-kickstarter-fetcher.md

5-Stufen-Fallback:

Stufe	Methode	Status
1	Playwright Headless (via Proxy)	Zu implementieren
2	Tavily Extract API	Blockiert, manchmal ok
3	Wayback Machine	Funktioniert
4	Google Cache	Funktioniert
5	Pressequellen	Funktioniert immer

5. Ziel-Modul

/home/hermes/workspace/bsn-chatbot/kickstarter_fetcher.py

Interface: fetch_campaign(url) -> KickstarterCampaign

Dataclass-Felder: url, title, pledged, goal, backers, days_left, status, description, image_url, source

6. Technischer Stack (bereits installiert/nutzbar)

Python 3.13
Venv: /home/hermes/venv/bin/python
Playwright soll ins Venv installiert werden
BeautifulSoup4

Deine Tasks

Playwright + Chromium in /home/hermes/venv installieren
kickstarter_fetcher.py vollständig implementieren (5 Stufen)
Mit Proxy testen
Bei Erfolg: In den Recherche-Workflow integrieren
Git commit + push

Wichtige Infos

Server: 185.162.249.159, 4-Kern AMD EPYC, 8 GB RAM
Gitea: git.datenhimmel.work
Du arbeitest im Profil cody (~/.hermes/profiles/cody/)
Bei Fragen: Basti fragen

2.4 KiB Raw Blame History