Enhancing standard UI-interactions using a wearable sensor

Die Arbeit zum Thema Emerging Technologies befasst sich mit der Erweiterung von Standard-Interfacefunktionen durch Nutzung von körpernahen Sensoren.
Während Touch- und Gesture- Interaktion heute zum Standard geworden sind, haben weder BCI’s wie der Emotiv EPOC noch Wearable Sensoren wie das Myo Gesture Control Armband schon ihren Weg in den Alltag des Consumer Marktes gefunden. Solche Technologien sind fast ausschließlich in der Forschung zu finden und werden dort für 3D-Interfaces, Games oder zur Steuerung von Prothesen benutzt. Solche Formen von Interaktion können, über den Forschungskontext hinaus, aber auch die alltägliche Interaktion mit Mediasystemen erweitern. Beispielhaft wurde das mit einer Erweiterung der Standard-Funktionen ”Cut & Paste“ und ”Drag & Drop” getestet.

hand open
hand closed

Low Cost Rapid Prototype
Als schnelle, kostengünstige Alternative zu wearable Sensoren kommt ein Flex-Sensor zum Einsatz. Dieser wird im Inneren eines Gummibands angebracht und um den Unterarm der Testperson gelegt. Die Oberflächenveränderung, die durch das Anspannen entsprechender Muskeln im Unterarm beim Schließen der Hand entsteht, verändern die Biegung des eng anliegenden Sensors. Die so veränderten Widerstandswerte werden vom Arduino als zwei verschiedene Zustände interpretiert. Diese Zustände „Hand offen“ und „Hand geschlossen“ können nun auch in digitalen Interfaces als Interaktionsform genutzt werden.
Die erweiterten Funktionen wurden aufgrund ihrer Nähe zu Aufgaben der Hand ausgewählt. Die beiden Standard-Funktionen sind im Interface unsichtbar, gelernt und kontextunabhängig. Durch den natürlichen Bezug beim Mapping der natürlichen „Greifen“-Geste mit der Funktion wird der Lernaufwand gering gehalten.
Drag & Drop
Cut & Paste
Durch visuelles Feedback wird die Auswirkung der Handbewegung auf das Interface verständlich. Hierfür wurden abstrahierte Animationen der physikalischen Bewegung angefertigt.
Pull-Animation
Cut-Animation
Das prototypische high-fidelity Interface wurde dem Standard Mac-OS-X-Interface nachempfunden, um die Diskrepanz zwischen Alltags-System und Test-System so gering wie möglich zu halten und die Aufmerksamkeit auf die Teilinteraktion zu konzentrieren. Im Ablauf wird der Sensor-Prototyp mit klassischer Maus/Tastatur-Bedienung am Ausgabegerät Bildschirm eingesetzt.
„Verschieben von Bildern in einen Ordner“
Der Test beschränkt sich auf die Interaktion selbst und lässt den Ein- und Ausstieg aus der Situation außen vor. Zunächst sollen Standardaufgaben nur durch Interaktion mit der Maus erledigt werden, dann mithilfe der Greifen-Geste. Dem Probanden wird die Aufgabe „Lege das Bild in das geöffnete Fenster“ gestellt.
Durch die erweiterte Form der Interaktion konnte die selbe Aufgabe schneller (weniger Klicks, kürzere Mauswege und ohne Nutzung der Tastatur) erledigt werden. Schon in ersten Tests wurde klar, dass die Offenheit gewohnte Standardaufgaben mit der neuen Technologie zu lösen bei allen Testpersonen vorhanden war. Die Bekanntheit der Aufgabe und das bekannte Interface trugen zu schnellem Verständnis bei.
 Die Akzeptanz im alltäglichen Leben lässt sich mit dem einmaligen Test aber nicht herauszufinden.

Die ausreichende Oberflächenveränderung am Unterarm konnte nicht bei allen Testpersonen problemlos erreicht werden. In diesem Fall wurde das Band während des Tests am Oberarm angebracht, da hier die nötige Oberflächenveränderung durch Anspannen des Bizeps schnell erreicht wurde. Die Positionsänderung ist inhaltlich problematisch, weil die „Greifen“-Assoziation und das visuelle Feedback nicht genau auf die Körperbewegung passt. Der kognitive Load ist damit höher, weil der Nutzer erst lernen muss „Arm anziehen“ als „Greifen“ zu verstehen.
Semesterarbeit Emerging Technologies im Kurs von Sascha Reinhold
Hochschule Magdeburg-Stendal

Comments are closed.