Experimentieren mit LLMs zur vollständigen Automatisierung des Datenabrufs
Unser Ziel war einfach: Wir wollten den Datenzugriff vereinfachen. Wir wollten, dass Benutzer Daten abrufen können, indem sie einfach Fragen stellen. Um dies zu erreichen, haben wir verschiedene große Sprachmodelle (LLMs) wie OpenAI, Mistral, Llama2 und Wizardcoder getestet. Wir wollten herausfinden, wie gut jedes davon Anfragen in natürlicher Sprache in SQL-Befehle umwandeln kann.
Benchmarking-Methoden und wichtige Erkenntnisse
Wir haben sowohl API-basierte als auch lokal bereitgestellte Modelle getestet. Unser Schwerpunkt lag darauf, wie genau jedes Modell unterschiedliche Datenkontexte verstehen und SQL-Anweisungen erstellen konnte. Wir haben die Modelle nach ihrer Leistung unter bestimmten Bedingungen gruppiert. Hier ist eine Aufschlüsselung unserer Ergebnisse:
Das Diagramm veranschaulicht die Leistung in wichtigen Testszenarien:
- Keine Tabellenstruktur angegeben: Wir haben die Modelle aufgefordert, SQL zu generieren, ohne die Datenstruktur zu kennen.
- Mit Tabellendefinitionen: Wir haben Tabellendefinitionen als Leitfaden für die SQL-Erstellung bereitgestellt.
- Mit Beispielabfragen und Tabellendefinitionen: Die Modelle erhielten Beispielabfragen zusammen mit Tabellendetails.
Die Leistung jedes Modells in diesen Kategorien gab uns Einblicke in Stärken und Kompromisse und half uns, die Dateninteraktionsfähigkeiten unserer KI zu optimieren. Einige Modelle zeigten hervorragende Ergebnisse bei strukturierten Datenkonfigurationen, während andere sich gut an iteratives „Pilotlernen“ anpassten und sich anpassten, während sie neue Informationen verarbeiteten.
Benchmark-Datensatz
Wir haben eine kuratierte Teilmenge von EDGAR-Aufzeichnungen verwendet, einem detaillierten Datensatz zu finanziellen Offenlegungen von Unternehmen und Einzelpersonen. Mit Daten zu rund 100.000 Unternehmen bot er eine umfangreiche Ressource, um zu testen, wie gut jedes Modell mit komplexen Daten umgeht.
Aufbau einer generativen Benutzererfahrung: Wichtige Erkenntnisse
Im Laufe der Zeit haben sich einige wichtige Erkenntnisse herauskristallisiert, die unsere Denkweise über LLMs und generative KI für Unternehmenslösungen geprägt haben:
- LLMs and SQL Compatibility: Through benchmarking, we saw how effectively LLMs could translate user prompts into SQL commands. However, achieving reliable accuracy required continuous adjustments to ensure the AI could handle the diverse data structures typical in large-scale enterprise environments.
- Adaptive Learning and Metadata: To make data access more intuitive, we needed the AI to autonomously generate metadata that makes data easily searchable. This step required the AI to learn dynamically from user behavior—a central principle in creating a generative system that could grow smarter over time.
- Plattformarchitektur zur Unterstützung der Autonomie: Diese Erfahrung hat die Bedeutung des Aufbaus einer flexiblen Architektur unterstrichen. Damit KI Daten autonom abrufen und Benutzerabsichten interpretieren kann, ist eine Plattform erforderlich, die eine Echtzeitanpassung ermöglicht. Dies bedeutete, dass wir unser System mit evolutionären Lernprinzipien im Kern entwerfen mussten.
Einführung in den Wingman SQL Assistant
Diese Erkenntnisse führten zur Entwicklung des Wingman SQL Assistant, einem Tool, mit dem Benutzer mit Daten interagieren können, indem sie einfach Fragen stellen, ohne SQL schreiben zu müssen. Wingman wird derzeit anhand einer Beispiel-Musikdatenbank vorgeführt und ermöglicht es Benutzern, Antworten auf Kennzahlen wie meistverkaufte Titel oder das Kaufverhalten von Kunden zu erhalten – und das alles in natürlicher Sprache.
Try It Yourself
Explore Wingman SQL Assistant and experience conversational data access firsthand. Visit Wingman SQL Assistantand see how it can transform the way you work with data. You can ask for SQL queries for a sample data base of a music collection. For example you could ask to give you all artists or all customers and their purchased songs.
Unsere Vision teilen: Ein gemeinsamer Schritt in Richtung generative KI
Our work on LLM-driven data retrieval is ongoing, but it’s taught us that the potential for generative AI in enterprise tech is enormous. We envision a future where AI can autonomously manage and interpret data, responding to user requests with accuracy and insight. By sharing these lessons, we hope to contribute to the broader AI community and spark discussions around best practices in data access automation.
At Salesteq, we’re building an AI that’s more than just a tool—it’s a partner in the sales journey. If you’re working on similar challenges, we invite you to join the conversation as we explore the frontiers of autonomous, adaptive intelligence in enterprise solutions.