Künstliche Intelligenz, Papers

Wie Wissensgraphen mit ChatGPT erstellt werden können

ChatGPT kann Entwicklerinnen in der Angewandten Informatik Arbeit abnehmen. Das gilt insbesondere für die Entwicklung von Wissensgraphen und Ontologien. Das hat ein Forschungsteam um L.-P. Meyer am Institut für Angewandte Informatik (InfAI) e.V. an der Universität Leipzig herausgefunden.

Dazu haben sie die Modelle ChatGPT-3 und ChatGPT-4 Tests in verschiedenen möglichen Anwendungsbereichen unterzogen. Die Anwendungsbereiche lassen sich in zwei Kategorien einteilen: Nutzung von Wissensgraphen und Konstruktion von Wissensgraphen.

Um vorhandene Wissensgraphen zu nutzen, kann ChatGPT grundsätzlich in der Erstellung von SPARQL-Anfragen aus Text in natürlicher Sprache assistieren: Beide Modelle liefern semantisch korrekte Anfragen. Zu den Einschränkungen dieses Ergebnisses gehört, dass die gelieferten Anfragen aus dem Mondial-Wissensgraphen nicht ohne weitere Bearbeitung ausführbar waren. Auch dabei, vorhandene Wissensgraphen zu erkunden, kann ChatGPT sinnvoll assistieren.

Die getesteten Sprachmodelle (kurz: LLMs – Large Language Models) sind zudem in der Lage, Informationen aus Datenblättern zu extrahieren. Getestet wurde dies an Datenblättern zu 3D-Druckern. Mit unter anderem solchen Informationen sollen die Wissensgraphen der Semper-KI gefüttert werden. Allerdings unterscheiden sich die ausgelesenen Informationen von Fall zu Fall, sind also nicht vollständig und in sich konsistent.

Insofern hat ChatGPT beeindruckende Fähigkeiten zur Unterstützung in der Arbeit mit Wissensgraphen gezeigt. Aus Entwicklerinnen-Sicht ebenso wichtig ist allerdings, das ChatGPT zu Halluzinationen (Schlussfolgerungen ohne stichhaltigen Inhalt) neigt.

Um nicht zuletzt dieses Problem aufzulösen, hat die Forschungsgruppe ein Benchmark-Modell aufgesetzt. Dieses ist öffentlich einseh- und nutzbar und offen zur Weiterentwicklung.

Zum Paper.