~/work/research-benchLive
ResearchBench
Aus der einzeiligen Take-Home-Aufgabe („Baue einen NotebookLM-Klon“) entstandene Browser-Workbench: PDF-, Markdown- und TXT-Quellen lokal mit Rust/Pdfium-WASM und ONNX parsen, einbetten und durchsuchen, Fragen mit klickbaren Quellen-Spans stellen und Studio-Artefakte oder zweistimmige Podcasts erzeugen.
Was es macht
ResearchBench verlagert Dokumenten-Import, PDF-Textextraktion (Rust + gepinntes Pdfium-WASM), überlappendes Chunking mit halboffenen UTF-16-Spans, mehrsprachige Embeddings (multilingual-e5-small via ONNX Runtime Web) und die Vektorsuche komplett in Browser-Worker und IndexedDB. Ein Anwendungs-Backend existiert nicht. Erst wenn aktiv Chat-Antworten, Zusammenfassungen, FAQs, Lernleitfäden oder zweistimmige DE/EN-Podcasts angefordert werden, gehen ausgewählte Textstellen mit dem eigenen Session-API-Key an Mistral EU oder OpenRouter (mit aktivem Zero-Data-Retention-Filter).
Wie es gebaut ist
- PDF-, Markdown- und TXT-Dateien werden lokal im Browser über Rust und Pdfium-WASM in Seiten, Chunks und exakte UTF-16-Spans zerlegt.
- Ein ONNX-Runtime-Web-Worker berechnet lokale multilingual-e5-small-Embeddings und speichert alles atomar in IndexedDB.
- Chat und Studio führen die Kosinus-Suche lokal aus und prüfen Antworten über ein deterministisches Support-Gate.
- Nur für die Generierung und Sprachsynthese werden ausgewählte Passagen mit eigenem Session-Key an Mistral EU oder OpenRouter gesendet.
Nachweise
- Verifikation
- 635 Tests (v0.1.0)
- Lokale Pipeline
- 0 Backend
- Quellen-Präzision
- UTF-16-Spans
489 Unit · 10 Rust · 92 E2E · 44 Security (Chromium & Firefox)
PDFium-WASM, ONNX-Embeddings und Vektoren in IndexedDB
Klickbare Zitate und lexikalisches Support-Gate für Chat & Podcasts
Zugehörige Fallstudie
Die Projektseite beschreibt, was existiert. Die Fallstudie verfolgt die Entscheidungen, Rahmenbedingungen und Trade-offs dahinter.
Case StudyHighlights
- Browser-native RAG-Engine in Rust & WASM Pdfium-WASM, deterministisches Chunking mit UTF-16-Quellenspans und Kosinus-Suche in Rust, kombiniert mit lokalen multilingual-e5-small-Embeddings über ONNX Runtime Web.
- Studio-Artefakte & wiederaufnehmbare Podcasts Belegte Zusammenfassungen, FAQs, Lernleitfäden und zweistimmige Podcasts inklusive lexikalischem Support-Gate, RMS-Gain-Anpassung, lokalem MP3-Worker und Web Locks.