ProfessorNovaandClaude Opus 5
784b76baf7
Self-hosted knowledge management for SMEs: a split-screen Markdown editor whose sections an LLM refines while you write, and RAG question answering over the documents that result. FastAPI + Postgres/pgvector on the back, SvelteKit on the front, everything OpenAI-compatible and self-hostable. Squashed into a single commit; the development history stays local. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01CA43ZJda8Rbp2hKXNy8f6b
73 lines
3.6 KiB
YAML
73 lines
3.6 KiB
YAML
# Golden retrieval queries against the fixture corpus.
|
|
# `expected`: document slugs — a query counts as a hit (recall@5) if ANY
|
|
# expected document appears in the top 5 results. An empty `expected` list
|
|
# marks a no-answer case: the corpus contains nothing relevant.
|
|
|
|
- query: "Wie oft muss die Zentralschmierung der F-350 aufgefüllt werden?"
|
|
expected: [wartungsplan-cnc-f350, schmierstoffe-wartung]
|
|
# Declarative statements must retrieve the same documents as the equivalent
|
|
# question. The hybrid German full-text component closes the statement-vs-
|
|
# question gap the pure-cosine similarity path is more sensitive to (notes.md).
|
|
- query: "Die Zentralschmierung der F-350 muss regelmäßig aufgefüllt werden."
|
|
expected: [wartungsplan-cnc-f350, schmierstoffe-wartung]
|
|
- query: "Der Solldruck der Hydraulikpresse ist fest vorgegeben."
|
|
expected: [hydraulik-presse-hp20]
|
|
- query: "Welches Öl kommt in die Zentralschmierung der Fräse?"
|
|
expected: [wartungsplan-cnc-f350, schmierstoffe-wartung]
|
|
- query: "Was bedeutet Fehlercode E-203?"
|
|
expected: [fehlercodes-sps-s7, hydraulik-presse-hp20]
|
|
- query: "Wie exportiere ich den Diagnosepuffer der Steuerung?"
|
|
expected: [fehlercodes-sps-s7]
|
|
- query: "Wer muss eine Not-Aus-Störung freigeben?"
|
|
expected: [fehlercodes-sps-s7]
|
|
- query: "Welcher Solldruck gilt für die Hydraulikpresse?"
|
|
expected: [hydraulik-presse-hp20]
|
|
- query: "Die Presse fährt nicht in die Grundstellung zurück, was tun?"
|
|
expected: [hydraulik-presse-hp20]
|
|
- query: "Welche Schmierstoffe sind bei uns freigegeben?"
|
|
expected: [schmierstoffe-wartung]
|
|
- query: "Welcher Servotec-Techniker kennt die F-350 am besten?"
|
|
expected: [offboarding-krause-instandhaltung]
|
|
- query: "Die vierte Achse verliert nach einem Stromausfall die Position."
|
|
expected: [offboarding-krause-instandhaltung]
|
|
- query: "Wie werden neue Maschinen an das Produktionsnetzwerk angebunden?"
|
|
expected: [netzwerk-produktions-it]
|
|
- query: "Stichprobenprüfung bei Anlieferungen" # synonym for AQL/Wareneingang
|
|
expected: [qualitaetspruefung-wareneingang]
|
|
- query: "Wer darf gesperrte Ware freigeben?"
|
|
expected: [qualitaetspruefung-wareneingang]
|
|
- query: "Welche Pflichtfelder müssen im CRM gepflegt werden?"
|
|
expected: [crm-leitfaden]
|
|
- query: "Wie schnell muss auf eine Reklamation reagiert werden?"
|
|
expected: [reklamationsprozess]
|
|
- query: "Ablauf bei Kundenbeschwerden" # synonym: Beschwerde vs. Reklamation
|
|
expected: [reklamationsprozess]
|
|
- query: "Wie hoch ist der Zuschlag für Materialgemeinkosten?"
|
|
expected: [angebotskalkulation]
|
|
- query: "Wie lange sind unsere Angebote gültig?"
|
|
expected: [angebotskalkulation]
|
|
- query: "Wo übernachten wir während der Messe in Hannover?"
|
|
expected: [messevorbereitung]
|
|
- query: "Wie viel Rabatt darf ich auf Ersatzteile geben?"
|
|
expected: [rabattrichtlinie]
|
|
- query: "Wie beantrage ich Urlaub?"
|
|
expected: [urlaubsantrag-prozess]
|
|
- query: "Kilometerpauschale für Dienstfahrten mit dem Privatauto" # synonym: PKW
|
|
expected: [reisekosten]
|
|
- query: "elektronischer Datenaustausch von Rechnungen mit Großkunden" # spelled-out EDI
|
|
expected: [edi-rechnungen]
|
|
- query: "Was muss vor dem ersten Arbeitstag eines neuen Mitarbeiters vorbereitet werden?"
|
|
expected: [it-onboarding-arbeitsplatz]
|
|
- query: "Wie melde ich eine Datenpanne?"
|
|
expected: [datenschutz-grundlagen]
|
|
|
|
# --- no-answer cases: nothing in the corpus covers these ---
|
|
- query: "Wie konfiguriere ich den Farblaserdrucker im dritten Obergeschoss?"
|
|
expected: []
|
|
- query: "Welche Gerichte gibt es in der Kantine für Veganer?"
|
|
expected: []
|
|
- query: "Wie stelle ich den Beamer im Konferenzraum scharf?"
|
|
expected: []
|
|
- query: "Gibt es einen Zuschuss zum Deutschlandticket?"
|
|
expected: []
|