Einen eigenen KI-Tutor entwickeln – Zwischenbericht zum Projekt

ITS sind computerbasierte Systeme, die Lernende individuell anleiten und ihnen ein personalisiertes Feedback geben. Bisher war die Entwicklung sehr aufwändig, weil die Planung «statisch» erfolgte und sämtliche Möglichkeiten berücksichtigt werden mussten. Der aktuelle technologische Stand der KI mit ihrem dynamischen, nicht zuvor festgelegten Verhalten eröffnet nun jedoch neue Möglichkeiten.

Im Rahmen eines Innovationsprojektes entwickelt das Team von EB Digital einen intelligenten Tutor, der selber betrieben wird und über ein eigenes Large Language Model (LLM) verfügt. Ziel ist es, erste Erfahrungen in der Umsetzung von eigenen KI-Lösungen zu sammeln und wertvolle Einblicke in KI-unterstützte Lernprozesse zu erhalten. Nicht zuletzt soll das Projekt in der Praxis auch zu digitalen Anreicherungen von Lernsettings inspirieren.

Funktionen, die der Protoyp benötigt

Doch welchen Zweck soll der KI-Tutor erfüllen? Damit sich alle Projektschaffenden am gleichen Ziel orientieren, definierten sie in einem ersten Schritt die Produkte-Vision. Sie lautet: Der KI-Tutor ermöglicht eine neue Lernerfahrung. Er macht das Lernen nachhaltiger, effektiver und effizienter. Die Lernmotivation wird gesteigert. Gleichzeitig haben die Lehrkräfte mehr Zeit für individuelle Unterstützung und Feedback zu den verschiedenen Lernstufen.

In einem zweiten Schritt spezifizierte das Team die Funktionen, über welche der Prototyp verfügen soll. Diese wurden nach der MoSCoW-Methode priorisiert und in vier Kategorien aufgeteilt (Must, Should, Could und Won't).

Technische Möglichkeiten zur Umsetzung

Ausgehend von dieser Grundlagenarbeit evaluierte das Projektteam bestehende Plattformen, auf denen sich ein ITS aufsetzen lassen. Dazu gehören:

• Together AI: Cloud-Plattform für den Aufbau und Betrieb generativer KI.
• Microsoft Azure OpenAI: Suite von KI-Diensten, die es ermöglicht, Algorithmen in natürlicher Sprache auf Daten anzuwenden, ohne Vorkenntnisse in Mathematik, Datenwissenschaft oder maschinellem Lernen.
• SERP-API: Automatisiertes API-Tool, das Daten von Suchmaschinen-Ergebnisseiten scrapt und abruft. Es kann verwendet werden, um den Tutor mit frischen, relevanten Inhalten aus dem Internet anzureichern, ist jedoch nicht zentral für den Aufbau des ITS.
• Helicone: Open-Source-Überwachungstool für generative KI. Es hilft, den Betrieb effizienter zu gestalten mit Funktionen wie der Begrenzung der Benutzeranzahl, Benutzermetriken, Wiederholungsanfragen, Streaming-Unterstützung etc. Lässt sich nahtlos in bestehende Setups integrieren.
• LLama: Beim LLama-Modell handelt es sich um eine Familie von grundlegenden grossen Sprachmodellen. LLama Adapter bezieht sich auf eine leichtgewichtige Methode zur Feinabstimmung der Llama-Modelle auf spezifische Aufgaben. Adapter sind eine Technik, bei der kleine zusätzliche Schichten (Adapter) in ein vortrainiertes Modell eingefügt werden. Während das Basismodell konstant gehalten wird, wird eine Adapterschicht hinzugefügt und diese mit neuen Daten trainiert. So kann das Modell mit viel weniger Parametern lernen.

KI-Tutoren in der Praxis

Bevor es an die Umsetzung geht, sollen bestehende Praxisbeispiele den Weg zum Erfolg aufzeigen. Einige grosse Technologieunternehmen setzen bereits KI-Tutoren zu Bildungszwecken ein. Dazu gehört der AI-Tutor von Microsoft, welcher auf dem Azure OpenAI Service und Azure Machine Learning basiert. Das System lehrt wie es viele Lehrpersonen tun: indem es eine Frage mit Informationen beantwortet oder mit weiteren Fragen. Es führt die Lernenden tiefer in die Materie ein, indem es auf das individuelle Niveau eingeht. Ähnlich funktioniert der «LearnLM Tutor» von Google Gemini, der den Lernenden zuerst Fragen stellt, anstatt sofort in das Thema einzutauchen.

Für die Umsetzung des Prototyps spannend ist die Frage, wie die Datensätze generiert werden. Die Recherche zeigt, dass folgende Methoden in der Praxis zum Einsatz kommen:

• Menschliche Tutoren: Es werden Unterhaltungen von Lernenden und Studierenden gesammelt.
• Gen-AI-Rollenspiele: Ein synthetischer Datensatz spielt sowohl den Tutor wie auch den Lernenden.
• GSM8k: Ein bestehender Datensatz, der auf Textfragen für die Grundschulmathematik in den USA basiert, wird in Gespräche zwischen Lernenden und Lehrpersonen umgewandelt.
• Goldene Gespräche: Gemeinsam mit Lehrpersonen werden Beispielgespräche geführt, um pädagogische Verhaltensweisen zu erstellen, die der KI-Tutor erlernen soll.

Large Language Model (LLM) als Grundlage

Die Basis für die KI-getriebene Kommunikation und die eigenständige Generierung neuer Texte bildet das LLM. Auf Basis des 2023 veröffentlichten Sprachmodell LLaMA von Meta wurde etwa in kurzer Zeit das Vicuna-Modell von chatGPT entwickelt. Dieses hat eine Erfolgsquote von 90%. Das Vicuna-Chatmodell wurde mit Hilfe des Alpaca-Datensatzes erstellt, der aus 52'000 Fragen und Antworten besteht, welche von der Stanford University veröffentlicht wurden. Beim Feintuning kamen drei Methoden zum Einsatz (Traditionelle Methode, LoRa – Low Rank Adaptation of LLM und LLaMA-Adapter v1 und v2). Die besten Ergebnisse wurden beim Training mit dem LLaMA Adapter v2 erzielt.

Bisherige Erkenntnisse

Der KI-Tutor wird besser, je mehr Beispiele für gutes Verhalten er bekommt. Zur Feinabstimmung eignet sich beispielsweise der LLaMA Adapter v2. So ergibt sich Möglichkeit, eigene Präferenzen und Verhalten einzugeben, um das System konkret auf den eigenen Anwendungsfall zu optimieren. Ein weiterer Vorteil der angestrebten Lösung ist, dass das komplette Betreiben und Hosting lokal bei der EB Zürich stattfinden kann, so dass der Datenschutz gewährleistet ist. Die bisherige Projektarbeit fokussierte vor allem auf die technische Umsetzung. Nun startet die nächste Phase, bei der es um das konkrete Aufsetzen und Konfigurieren des KI-Tutors geht. Hier wird es spannend werden, welche Funktionalitäten sich umsetzen lassen und wie tatsächlich ein Mehrwert für Lernende generiert werden kann.

Fortsetzung folgt...

Bald soll es losgehen mit dem Bau des eigenen KI-Tutors. Roy Franke, Leiter EB Digital, und Christian Flury, Digital Learning Experte, haben bereits die nötige Hardware bestellt und das Auspacken selbst mit einem Handy-Video festgehalten.