[!NOTE] Automatische Übersetzung Dieser Artikel wurde automatisch aus der englischen Originalversion übersetzt.
Beste Such-Ranking-Stack für AI-Produkte
Ein effektiver Suchstack funktioniert wie ein Trichter. Günstige Methoden sammeln zunächst eine breite Menge an Kandidaten ein, während teurere Methoden später diese Menge erheblich verkleinern. Probleme entstehen oft dann, wenn Teams die Volltextsuche durch Embeddings ersetzen, anstatt beide Ansätze miteinander zu kombinieren.
Beginnen Sie mit Filtern sowie BM25, einer leistungsstarken Methode zur Rangierung von exakten Texten. Fügen Sie anschließend dichte Retrieval hinzu, um semantische Übereinstimmungen zu finden, und verschmelzen Sie die beiden Ergebnislisten anschließend mithilfe von Reciprocal Rank Fusion (RRF) oder einer ähnlichen Methode. Rangieren Sie die ermittelte Shortlist schließlich mit einem Cross-Encoder neu. Verwenden Sie einen LLM ausschließlich für eine sehr kleine Endgruppe, bei der der erzielte Qualitätszuwachs die zusätzlichen Aufwand und Kosten von Latency rechtfertigt.
Empfohlene Technologie-Stacks
| Phase | Standardwert | Aufgabe |
|---|---|---|
| Filtern | Strukturierte Filter | Es werden Vorgaben für Tenant, Berechtigungen, Produkt, Sprache, Zeit sowie Verfügbarkeit durchgesetzt. |
| Lexikalischer Retrieval | BM25 | Genaue Namen, IDs, Fehlercodes, rechtliche Begriffe sowie hochpräzise Tokens. |
| Dichte Retrieval | Embeddings | Synonyme, Paraphrasen, verschwommene Absichten sowie semantische Wiedererkennung. |
| Fusion | Reziproke Rangfusionsmethode oder gewichtete Kombination von Suchalgorithmen | Führen Sie die Verschmelzung von spärlichen und dichten Kandidaten durch, ohne vorzutäuschen, dass die entsprechenden Scores vergleichbar seien. |
| Reranking | Kreuzencoder | Die 20 bis 100 Kandidaten mithilfe der Abfrage-Dokument-Interaktion neu ordnen. |
| Endgültige Präzision | LLM-Neubewertungsmechanismus oder Antwort auf Model | Erst wenn die Liste klein ist, soll die fein abgestimmte Relevanz bewertet werden. |
| Bewertung | Recall@k, nDCG, MRR, Klicketiketten, menschliche Etiketten | Beweisen Sie, dass jede Stufe die vorherige verbessert. |
Standardwerte für Use-Cases
| Produktoberfläche | Gute Standardeinstellung | Warum |
|---|---|---|
| Dokumentensuche | BM25 plus Embeddings plus Kreuzencoder | Sowohl die genauen Namen von API als auch die semantischen Aspekte sind von Bedeutung. |
| RAG Retrieval | Hybrid Retrieval zusammen mit einem Reranker sowie Prüfungen von Zitaten | Fehlende Belege sind in der Regel schlimmer als eine langsame Generierung. |
| Produktsuche | Lexikalische Filter zusammen mit dem hybriden Retrieval-Ansatz sowie Geschäftsfunktionen | Verfügbarkeit, Preis, Beliebtheit sowie die genauen Eigenschaftsmerkmale sind von entscheidender Bedeutung. |
| Suchfunktion unterstützen | Hybrid Retrieval zusammen mit Aktualitätsinformationen und Metadaten der Tickets | Sowohl ähnliche Formulierungen als auch die aktuelle Richtlinie sind von Bedeutung. |
| Interne Wissensdatenbank | Baseline BM25, anschließend dichte Retrieval-Modelle aus den Abfragenachweisen | Beginnen Sie mit der Messung, bevor Sie die Kosten für Model tragen. |
| Rechtliche oder Konformitätsabfrage | Lexikalische Grundlage zusammen mit strengen Filtern, gefolgt von einer sorgfältigen semantischen Erweiterung | Sowohl falsch positive als auch falsch negative Ergebnisse verursachen erhebliche Kosten. |
Warum BM25 weiterhin Teil des Technologiestacks bleibt
Embeddings finden von Texten mit ähnlicher Bedeutung, wobei diese jedoch keine zuverlässige Alternative zur exakten Übereinstimmung darstellen. Fehlercodes, Funktionsnamen, Produkt-SKUs, rechtliche Formulierungen sowie Personennamen tragen oft die ursprüngliche Absicht durch ihre genaue Schreibweise in sich. BM25 bleibt aufgrund der Belohnung von Begriffen, die der Benutzer tatsächlich eingegeben hat, weiterhin eine solide Grundlage.
Dichte Retrieval-Methoden erhöhen die Trefferquote, wenn Nutzer das genaue Vokabular nicht kennen. Der geeignete Ansatz ist weder BM25 noch Embeddings. Verwenden Sie BM25 für die lexikalische Trefferfindung, Embeddings für die semantische Trefferfindung und eine Fusionstechnik, um beide Ansätze miteinander zu verbinden.
Wann ein Reranker hinzugefügt werden sollte
Fügen Sie einen Cross-Encoder hinzu, sobald die relevanten Dokumente in den ersten 50 Ergebnissen zu finden sind, jedoch nicht ganz an der Spitze. Dies ist das deutlichste Anzeichen dafür, dass die Kandidatengenerierung funktioniert, während die Ranking-Algorithmen Unterstützung benötigen.
Fügen Sie einen LLM Reranker vor einen Cross-Encoder nur dann hinzu, wenn die Kandidatensammlung sehr klein ist. Zudem benötigt dieser Reranker eine Relevanzbewertung, die ausreichend fein abgestimmt ist, um den damit verbundenen Aufwand zu rechtfertigen. LLM sowie Reranking können zwar helfen, sind jedoch teuer und langsamer in der Ausführung. Vergleichen Sie deren Leistung daher mit einer günstigeren Variante eines Rerankers.
Bewertungsablauf
- Beschriften Sie eine kleine Menge an echten Abfragen.
- Messen Sie zunächst nur den Wert von BM25.
- Fügen Sie den dichten Retrieval hinzu und ermitteln Sie die Änderung des Recall-Werts.
- Implementieren Sie die Fusionstechnik und messen Sie anschließend nDCG sowie Recall@k.
- Integrieren Sie den Cross-Encoder Reranking und prüfen Sie die Werte von Precision@1 sowie nDCG.
- Fügen Sie LLM Reranking nur dann hinzu, wenn dies die Qualität trotz der damit verbundenen Kosten verbessert und Latency bereits berücksichtigt wurde.
- Überwachen Sie die Metriken in der Produktion: Anteil an Null-Ergebnissen, Anteil an Neuformulierungen, Klickrate, Korrekturrate der Antworten, p95 Latency sowie die Kosten.
Weitere Lektüre
- Such-Ranking-Stack im Jahr 2026 ergibt eine vollständige Schritt-für-Schritt-Anleitung zur Implementierung. RAG Bewertungsmetriken erläutert Retrieval sowie die Bewertung von Zitaten.