LangChain4j
AIWir haben entschieden, diese Technologie nicht mehr in unserem Tech-Radar zu führen. Dieser Entscheid ist unabhängig von der Relevanz der Technologie.
Bei der Integration eines Sprachmodells (LLMs) in eine Applikation, muss diese die AI mit natürlicher Sprache steuern. Dabei sollten nicht nur Informationen innerhalb des Sprachmodells, sondern auch aus dem Kontext der Applikation genutzt werden können. Um diese Aufgaben zu vereinfachen, bietet LangChain4j zwei Mechanismen an: Tools und Document-Stores.
Durch den Einsatz von Tools kann das Sprachmodell auf zusätzliche Systeme zugreifen. Hierfür werden die verfügbaren Funktionen deklariert, z.B. die Statusabfrage einer Bestellung. Dabei wird festgelegt, wann eine Funktion mit welchen Parametern aufgerufen wird und was mit dem Ergebnis geschehen soll.
Bei Document-Stores handelt es sich um einen zusätzlichen Speicher. Aus diesem kann die Applikation vorgängig aufbereitete Daten beziehen und als Prompt-Zusatz verwenden. Das Sprachmodell kann so neben internem Wissen auch externe Daten mitberücksichtigen.1
Eine einheitliche API, die verschiedene Anbieter von Sprachmodellen vereint, erleichtert den Einstieg und macht den Einsatz unterschiedlicher Modelle effizienter. Zudem gibt es Integrationen für Quarkus und Spring Boot.
In verschiedenen Prototyp-Einsätzen haben wir bereits erstaunliche Resultate erzielt, zum Beispiel bei der Beantwortung und Verarbeitung von Kundenanfragen sowie bei der Abfrage von firmeninternem Wissen.
1 Retrieval-Augmented Generation (RAG)