Kosten und Latenz einer GraphRAG-Pipeline messen

Stufen getrennt instrumentieren

Parsing, Extraktion, Embeddings, Resolution, Graphschreiben, Retrieval und Generation erhalten eigene Timer, Mengen und Fehlerzähler. Ein End-to-End-Wert erklärt keinen Engpass.

Einmalige und laufende Arbeit trennen

Neuindexierung und Community-Berichte entstehen asynchron; Query-Retrieval und Antwort liegen im Nutzerpfad. Kosten werden pro Dokument, Änderung und Frage mit tatsächlich beobachteten Einheiten erfasst.

Verteilungen statt Mittelwert

Median, p95 und p99 zeigen lange Ausreißer. Cache-Treffer und kalte Läufe werden getrennt, ebenso erfolgreiche Antworten und Abbrüche.

Budgets mit Qualität koppeln

Ein schneller Lauf ist wertlos, wenn Sollbelege fehlen. Dashboards verbinden Latenz und Kosten mit Retrieval-Recall, Zitierstatus und Nichtwissen je Fragetyp.

Beobachtungsdatensatz pro Anfrage

Die Werte stammen im Betrieb aus Traces, nicht aus Annahmen.

trace_id, stage, duration_ms, units, cache
t91, graph_retrieval, observed, nodes_scanned, miss
t91, vector_retrieval, observed, candidates, hit
t91, generation, observed, input_tokens, n/a
Report: p50/p95/p99 je stage und question_type

Eigenständiges Prüfartefakt ohne erfundene Messwerte oder Anbieterwertung.

Im GraphRAG-Pfad weiterlesen

• GraphRAG einfach und ohne Hype erklärt
• GraphRAG und Vector RAG fair vergleichen
• GraphRAG-Pipeline vom Dokument zur Antwort
• Alle GraphRAG-Beiträge