Nutzungsanalyse

Zu jedem Kursassistenten zeigt Ask Alma, wie er genutzt wird: von einfachen Kennzahlen bis zu einer KI-gestützten Auswertung der Anliegen, mit denen Studierende zum Assistenten kommen. Damit erkennen Sie, ob der Assistent so eingesetzt wird wie gedacht, und wo Anweisungen oder Materialien nachgeschärft werden sollten.

Öffnen Sie die Analyse über das Drei-Punkte-Menü auf der Kachel des Assistenten mit Analyse. In einem eingebetteten Kurselement erreichen Sie sie über Analyse in der Seitenleiste, siehe In die Lernplattform einbinden.

Datenschutz

Alle Werte sind aggregiert und anonymisiert. Einzelne Studierende oder Gesprächsinhalte sind nicht einsehbar. Statistiken und Auswertungen werden erst angezeigt, wenn genügend Nutzende den Assistenten verwendet haben. Bis dahin erscheint der Hinweis, dass für eine anonymisierte Darstellung noch zu wenige Nutzende vorhanden sind.

Filter

Im Reiter Metriken wählen Sie den Zeitraum (24 Stunden, 7 Tage, 30 Tage oder 90 Tage). Daneben steht der genaue Datumsbereich. Mit Kursadmins mit einbeziehen zählen auch die Chats mit, die Sie und andere Lehrende des Kurses mit dem Assistenten geführt haben. Standardmäßig sind sie ausgeschlossen, damit Ihre Tests die Zahlen nicht verfälschen.

Reiter

Metriken

Unter Aktivität im ausgewählten Zeitraum stehen die Kennzahlen zum gewählten Zeitraum:

• Aktive Nutzende, Aktive Konversationen und Nachrichten, jeweils mit der prozentualen Veränderung gegenüber dem vorherigen Zeitraum gleicher Länge (ggü. Vorperiode). Ein Pfeil zeigt, ob der Wert gestiegen oder gesunken ist.
• Neue Konversationen, Nachrichten pro aktiver Konversation, Konversationen pro aktivem Nutzer und Nutzungsquote mit dem Zusatz x von y Kursnutzern, also im Verhältnis zu allen, die den Kurs in Ask Alma geöffnet haben.
• Durchschnittliche Zeichen pro Anfrage, Durchschnittliche Zeichen pro Antwort und Aktivster Tag.
• Diagramme Nutzung im Zeitverlauf und Gesprächstiefe (wie viele Konversationen aus wie vielen Nachrichten bestehen).

Darunter unter Gesamt die Nutzung der letzten sechs Monate: Nutzende, Konversationen und Nachrichten insgesamt, Ø und Median der Nachrichten pro Konversation sowie Zuletzt genutzt.

Auswertung

Hier fordern Sie mit Auswertung anfordern eine KI-gestützte Analyse der Chats an. Ask Alma bereitet die Interaktionen anonymisiert auf, gruppiert ähnliche Anliegen und erstellt daraus einen Report. Das dauert einige Minuten. Der Fortschritt wird angezeigt, und Sie können den Dialog zwischenzeitlich schließen. Ist der Report fertig, sehen Sie:

• Kurzfazit: die wichtigsten Erkenntnisse in wenigen Sätzen.
• Verwendungszweck: wofür Studierende den Assistenten tatsächlich nutzen.
• Arbeitsweise: wie sie mit ihm arbeiten, etwa in kurzen Einzelfragen oder längeren Dialogen.
• Auftrag und tatsächliche Nutzung: wie gut die Nutzung zu dem passt, was Sie in den Anweisungen vorgesehen haben.
• Auffälligkeiten: etwa wiederkehrende Probleme oder themenfremde Nutzung.

Eine neue Auswertung können Sie anfordern, sobald genügend neue Interaktionen vorliegen. Direkt nacheinander gestellte Anfragen weist Ask Alma mit einem Hinweis ab. Liegen noch nicht genügend Chatdaten von ausreichend vielen Nutzenden vor, ist keine Auswertung möglich.

Nutzungsmuster

Die Auswertung fasst ähnliche Anliegen zu Gruppen zusammen. Jede Gruppe zeigt eine Bezeichnung, die Anzahl der Interaktionen und Nutzenden sowie Typische Anliegen als Beispiele. So sehen Sie, welche Themen und Fragen am häufigsten vorkommen. Gruppen, die auf zu wenigen Nutzenden beruhen, werden aus Datenschutzgründen ausgeblendet. Ein Hinweis nennt, wie viele Muster betroffen sind.

Verteilungen

Vier Verteilungen aus der Auswertung:

Verteilung	Kategorien
Anfragetypen	Erklären/Verstehen, Prüfungsvorbereitung, Aufgaben lösen, Feedback zur eigenen Lösung, Recherche und Quellen, Material zusammenfassen, Organisation, Testen und Ausprobieren, Themenfremde Nutzung
Interaktionsstile	One-Shot, Iterativ nachfragend, Eingefügte Aufgabe, Explorativ
Bezug zum Auftrag	Im Kern des Auftrags, Am Rand des Auftrags, Außerhalb des Auftrags
Sprachen	Deutsch, Englisch, Andere

Alle Reports

Alle abgeschlossenen Auswertungen dieses Assistenten mit Datum, Datenstand, Anzahl der analysierten Interaktionen und Nutzenden sowie dem Hinweis, ob Kursadministratoren einbezogen waren. Jeden Report können Sie mit Als PDF exportieren herunterladen, zum Beispiel für die Lehrevaluation oder zur Weitergabe im Kollegium.

Verknüpfte Assistenten

Ist ein Assistent mit mehreren Kursen verknüpft, führt Ask Alma die Analyse pro Kurs getrennt. Öffnen Sie sie im jeweiligen Kurs.