Künstliche Intelligenz, Papers

Erstes Benchmark-Modell für die Arbeit mit LLMs und Wissensgraphen entwickelt

ChatGPT kann dabei helfen, Wissensgraphen zu entwickeln. Zum Beispiel aus semi-strukturierten Textdaten. Oder Fragen aus natürlicher Sprache in syntaktisch korrekte SPARQL-Anfragen übersetzen. Doch wie alle LLMs tendiert ChatGPT zu Halluzinationen. Mit dem Ziel, das beste Large Language Model und den besten Prompt zu finden, haben L.-P. Meyer et al. ein erstes Benchmark-Modell beschrieben. Dazu soll eine automatisierte und kontinuierliche Bewertungsplattform aufgebaut werden für verschiedene Teile von Knowledge-Graph-Szenarien. In ihrem Paper evaluierten die Forschenden GPT-4, GPT-3.5 und Cllaude-1.3.