Ich führe Gespr?chsanalysen multimodal (Audio, Video, Text) mit Hilfe von Methoden aus dem Bereich des maschinellen Lernens und künstlicher Intelligenz (KI) durch. Dabei untersuche ich, ob und wie man mit diesen Methoden verschiedene Gespr?chssituationen auswerten und bewerten kann.

Die Gespr?che finden im Kontext von Psychotherapiesitzungen (Projekt TherapAI), Humanmediziner- und Lehrerausbildung (Projekt KodiLL) statt. Das Ziel ist es, Zusammenh?nge zu finden und diese zu nutzen, um die Qualit?t dieser Gespr?che messbar und (automatisiert) bewertbar zu machen, sowie langfristig zu verbessern. Dies kommt beiden Seiten zu Gute - den Therapeuten/Medizinern/Lehrern sowie den Patienten/Eltern.

So ist es denkbar, dass man gefundene Merkmale nutzt um bei Therapien zu intervenieren, oder in der Ausbildung KI-gestützte Rückmeldungen und Handlungsempfehlungen den Studenten gibt, um zukünftig bessere Gespr?che zu führen.

?

Hier sind Themen, die ich mir als Abschlussarbeit vorstelle. Bestenfalls werden die Ergebnisse als Modul für Nova implementiert - dadurch ist eine einfache Wiederverwendung gegeben, und man kann die unterschiedlichen Merkmale auf bestehenden Datens?tzen einfach in Zusammenhang bringen und Auswerten. Gerne k?nnt ihr auch eigene thematisch passende Vorschl?ge einbringen:

• Sprechereinteilung: Oftmals gibt es keine nach Sprecher getrennten Audioaufnahmen, oder falls doch, h?rt man auch die anderen Sprecher (leiser) in der eigenen Aufnahme. Dies verf?lscht die Zuordnung von audiobasierten Merkmalen, z.B. die Transkription oder Emotionserkennung.
  Bestehende Verfahren nutzen hier rein Audio - hier w?re es denkbar diese Modalit?t um Video oder Text oder andere abgeleiteten Merkmale (Gesichtspunkte)?zu erg?nzen und so die Sprechereinteilung zu verbessern.
• Rezeptionssignale: W?hrend jemand spricht, geben üblicherweise die Zuh?rer Rezeptionssignale von sich (ja, mhm, Kopfnicken, usw.). Diese sind Hinweise, ob und wie sehr jemand am Gespr?ch beteiligt ist. Hier gilt es bestehende Methoden?zu implementieren, zu verbessern, und zu evaluieren.

• Fern-Photoplethysmographie: ?blicherweise tragen die gefilmten Personen keine Sensoren an sich, trotzdem w?ren einige Werte interessant, bspw. die "Manschettenfreie Blutdruckmessung" über Video um Herzrate und Variabilit?t zu ermitteln. Diese k?nnen Anzeichen für Aufgeregtheit im Gespr?ch?und nützlich für?Auswertungen sein.

• Sprachmodelle als Experte: K?nnen (kleine) Sprachmodelle aufw?ndige Annotations- und Beurteilungsarbeit Menschen abnehmen, oder mindestens unterstützen? Wegen sensibler Daten müssen diese Modelle lokal ausführbar sein, bestenfalls auf Endverbraucherhartware.

• Sprachmodelle als ?bungspartner: Sprachmodelle werden gerne zur synthetischen Datengenerierung genutzt. Kann man diese auch (lokal) als sinnvollen ?bungspartner einsetzen?um Elterngespr?che auf verschiedenen Schwierigkeitsgraden zu üben?