Eval & LLMOps ★ 15.0k

Langfuse

Selbsthostbare Tracing-, Evaluations- und Promptverwaltung – die meist vergessene Observierbarkeitsebene der meisten Teams.

Langfuse erfasst verschachtelte Spuren von LLM-Aufrufen, hängt Bewertungspunkte und versionierte Prompts an und zeigt die Kosten pro Feature an. Ohne etwas Ähnliches veröffentlichen Sie Modelländerungen im Blindflug.

Am besten für: Tracing, Promptversionierung und Produktionsbewertungen

Deployment: Selbst hostbar

Was daraus folgt

  • Überprüfen Sie die Lizenzbedingungen
  • Berechnen Sie die Betriebskosten
  • Testen Sie das Verhalten bei Fehlern

Was es ist

Langfuse ist ein Werkzeug für die Selbsthosting-Tracing, Bewertung und Prompt-Verwaltung von LLM-Aufrufen. Es erfasst verschachtelte Spuren von LLM-Aufrufen und hängt Bewertungspunkte und versionierte Prompts an.

Langfuse zeigt auch die Kosten pro Feature an, was hilft, Modelländerungen zu überwachen und zu optimieren.

Wo es in einem Deployment-Stack passt

Ein Werkzeug wie Langfuse löst normalerweise das Problem der mangelnden Sichtbarkeit in LLM-Systemen. Es sitzt normalerweise neben anderen Überwachungs- und Logging-Tools in einem Produktionsystem.

Es übernimmt die Arbeit der Erfassung und Analyse von LLM-Aufrufen und bietet Einblicke in die Systemleistung und -kosten.

Ein solches Werkzeug ist besonders wichtig, wenn Modelländerungen häufig vorgenommen werden und die Auswirkungen auf das System überwacht werden müssen.

Wie man es bewertet

Um Langfuse zu bewerten, sollten Sie es mit Ihren eigenen LLM-Aufrufen und -Modellen testen. Sie sollten die Art und Weise überprüfen, wie es Spuren erfasst, Bewertungspunkte zuweist und Prompts verwaltet.

  • Messen Sie die p95-Latenz der Abrufschritt unter 50 gleichzeitigen Sitzungen.
  • Überprüfen Sie die Genauigkeit der Bewertungspunkte und die Konsistenz der Prompt-Versionen.
  • Analysieren Sie die Kosten pro Feature und überprüfen Sie, ob sie mit Ihren Erwartungen übereinstimmen.
  • Testen Sie die Fähigkeit des Werkzeugs, verschachtelte Spuren zu erfassen und zu analysieren.
  • Überprüfen Sie die Skalierbarkeit des Werkzeugs bei steigender Anzahl von LLM-Aufrufen.
  • Messen Sie die Zeit, die zum Einrichten und Konfigurieren des Werkzeugs benötigt wird.

Was man vor dem Commit überprüfen sollte

Bevor Sie sich für Langfuse entscheiden, sollten Sie einige wichtige Aspekte überprüfen. Sie sollten die Lizenzbedingungen, die Datenverarbeitung und die Betriebskosten des Werkzeugs überprüfen.

  • Überprüfen Sie die Lizenzbedingungen und stellen Sie sicher, dass sie Ihren Anforderungen entsprechen.
  • Überprüfen Sie die Art und Weise, wie das Werkzeug mit Ihren Daten umgeht, und stellen Sie sicher, dass es Ihren Datenschutzanforderungen entspricht.
  • Berechnen Sie die Betriebskosten des Werkzeugs und stellen Sie sicher, dass sie in Ihrem Budget liegen.
  • Testen Sie das Verhalten des Werkzeugs bei Fehlern und stellen Sie sicher, dass es Ihre Anforderungen an die Fehlerbehandlung erfüllt.
  • Überprüfen Sie die Möglichkeit, das Werkzeug zu integrieren, und stellen Sie sicher, dass es mit Ihren bestehenden Systemen kompatibel ist.
  • Überprüfen Sie die Dokumentation und die Unterstützung, die für das Werkzeug angeboten wird.
Empfohlene Pakete

Das FDE-Deployment-Toolkit 2026

Referenzarchitekturen, eine 60-Punkte-Go-live-Checkliste, GPU-Kostenmodelle und eine Anbieter-Shortlist — die vier Artefakte, die du bei jedem Deployment neu baust.