AMIGO ist als interaktive Video-Lernplattform im Studienbereich Informatik an der Hochschule RheinMain entstanden. Unser Ziel ist eine effiziente Interaktion mit Lehrvideos, ähnlich wie mit Textdokumenten.

  • Du kannst zwischen einzelnen Vortrags-Slides im Video „blättern“
  • Du kannst sekundengenau nach Schlagworten im Video suchen
  • Wichtige Themen werden mit Wikipedia-Artikeln verlinkt

Der Clou ist AMIGOs automatische Bild- und Textanalyse: Der Dozent lädt einfach Video und Vortrags-Slides seiner Veranstaltung hoch, und AMIGOs Indexer ermitteln automatisch, wann z.B. welches Vortrags-Slide im Video auftaucht.

 

Technologie



Der Schlüsselschritt in AMIGOs Indexierung ist ein bild-basiertes Matching: Wir extrahieren Bildmerkmale (sogenannte "regions of interest", oder ROIs) und finden Korrespondenzen zwischen den Frames des Videos und den Slides der Vorlesung. So ermitteln wir sekunden- und pixelgenau, wann und wo welches Slide im Video sichtbar ist. Mittels verschiedener statistischer Modelle und Tricks ist das Matching robust gegen Beleuchtungsunterschiede, partielle Verdeckungen, Bildrauschen und perspektivische Verzerrungen: Seine Genauigkeit beträgt ca. 95 Prozent (weitere Details findest Du in unserem Paper).


Gegeben eine PDF-Datei mit Vortrags-Slides, extrahiert AMIGO automatisch die enthaltenen Textdaten. So ermitteln wir jede Textbox und bestimmen per Projektion, wo sie im Video sichtbar ist. Diese Text-Extraktion funktioniert zuverlässig und ist (im Gegensatz zu einer optischen Buchstabenerkennung) unabhängig von Auflösung, Font und Bildrauschen. Wir identifizieren außerdem animierte Slides und ermitteln den genauen Zeitpunkt zu dem jede Textbox im Video erscheint. So führt Dich Deine Textsuche direkt zu der Stelle, an der Dein Schlagwort erklärt wird.


Mit Wikification werden wichtige Begriffe aus den Vortrags-Slides mit Links zu Wikipedia versehen. Möchtest Du mehr zu einem Begriff lernen (wer war z.B. Don Knuth?), klickst Du im Video einfach darauf und holst Dir zusätzliche Infos bei Wikipedia. AMIGO tut auch dies vollautomatisch: Ein Indexer detektiert interessante Schlagworte in den Slides und findet auch zu mehrdeutigen Begriffen (wie "Baum") den richtigen Artikel. Hierzu lernt AMIGO automatisch statistische Modelle von der Text- und Link-Struktur in Wikipedia.

Team

Markus Eberts Technische Projektleitung / Administration / Bildanalyse (Bachelor-Arbeit) / Framework-Entwicklung / Indexierung / Frontend-Entwicklung / Co-Betreuung von Abschlussarbeiten
Anna-Lena Steines, Fabian Junkert, Max Roth Software-Entwicklung
Patrick Henrici Wikification (Automatische Links zu Wikipedia, Bachelor-Arbeit)
Alexander Haas Textsuche / PDF-Analyse (Bachelor-Arbeit)
Mario Sigel ScreenOCR (Master-Arbeit)
Denis Drescher Demo-Video
Marcus Michaely, Thorsten Knoll Produktion von Video-Content / Tests
Laboringenieure, insbesondere Daniel Kloos Server-Administration / Deployment / LDAP+HTTPS-Anbindungen / Support
Prof. Dr. Ulrich Schwanecke Fachlicher Input zur Bildanalyse / Co-Betreuung von Bachelor-Arbeiten
Prof. Dr. Adrian Ulges Projektverantwortlicher

 

Publikationen


  • AMIGO - Automatic Indexing of Lecture Footage. Markus Eberts, Adrian Ulges, Ulrich Schwanecke. Int. Workshop on Camera Based Document Analysis and Recognition (CBDAR), Aug 2015 (pdf).

Abschlussarbeiten


  • Automatisierte Indexierung der Videoaufnahmen von Vorträgen mittels Bildmatching. Markus Eberts. Bachelor's Thesis, Hochschule RheinMain, 2015.

  • Freitextsuche für videogestütztes Lernen mittels PDF-Extraktion und geometrischer Projektion. Alexander Haas. Bachelor's Thesis, Hochschule RheinMain, 2015.

  • Automatische Anreicherung von Dokumenten mit Links zu Wikipedia für ein Video-Lernportal. Patrick Henrici. Bachelor's Thesis, Hochschule RheinMain, 2016.

  • Lokalisation und Erkennung von Screen-rendered Text in Videos. Mario Sigel. Master's Thesis, Hochschule RheinMain, 2016.