Tag: Tangible Interaction

Interaction Engineering (2021/22)

Last winter, my course Interaction Engineering was conducted on campus for the first part (autumn 2021) which really helped connecting the students. In November we had to switch to virtual meetings via Zoom but at this point most students already had a good idea what project to pursue with which partner.

This year we had a large variety of interaction modalities, from tangible interaction, via gaze and gesture control to full-body interaction. All projects resulted in actual prototypes that were presented live on 2 Feb 2022.

Click on the following screen shot to get to our project page where you can browse all projects. Each project comes with a short video, a written report and a set of slides.

Actuated Tangibles: ChainFORM

After the inFORM project (see my post from 2013) here is another spectacular research outcome from Professor Ishii’s Tangible Media Group at MIT.

The idea of tangible interaction goes back as far as 1997 when Ishii first formulated his idea of bringing back physical items to human-computer interfaces. He invented physical controls that allows you to manipulate digital data more intuitively.

Pushing this idea a step further Ishii wondered how to bring digital information back into the real world using actuated tangibles that can dynamically show the changes of the digital information. One problem is changing the position of physical controls (e.g. by air, vibration or magnetic control), more challenging is to change the shape of physical controls on the fly. Both inFORM and ChainFORM deal with the problem of changing shape dynamically.

Relevant Publications

Ken Nakagaki, Artem Dementyev, Sean Follmer, Joseph A. Paradiso, Hiroshi Ishii. ChainFORM: A Linear Integrated Modular Hardware System for Shape Changing Interfaces. In Proceedings of the 29th Annual ACM Symposium on User Interface Software & Technology (UIST ‘16).

Sean Follmer, Daniel Leithinger, Alex Olwal, Akimitsu Hogge, and Hiroshi Ishii. 2013. inFORM: dynamic physical affordances and constraints through shape and object actuation. In Proceedings of the 26th annual ACM symposium on User interface software and technology (UIST ’13). ACM, New York, NY, USA, 417-426.

Hiroshi Ishii and Brygg Ullmer. 1997. Tangible bits: towards seamless interfaces between people, bits and atoms. In Proceedings of the ACM SIGCHI Conference on Human factors in computing systems (CHI ’97). ACM, New York, NY, USA, 234-241.

Bachelor Thesis: Christian Reichart – Laguna (2015)

Christian Reichart (2015) Laguna: Digitales Gesellschaftsspiel mit Tablet-Touch und Tangibles, Bachelorarbeit, Studiengang Interaktive Medien, Hochschule Augsburg.

Brett- und Kartenspiele werden fast ausschließlich in einer geselligen Runde mit Freunden oder der Familie gespielt. Es steht die soziale Interaktion und Kommunikation mit den Mitmenschen im Vordergrund. Ziel dieser Arbeit ist es, ein digital-analoges Spielkonzept zu entwickeln, dass für diesen Anwendungsfall geeignet ist und haptische Komponenten mit einem Tablet verbindet.

Es wurde ein Gesellschaftsspiel konzipiert, bei dem ein Tablet auf die Mitte des Spielplans gelegt wird und eine Holzfigur mit integriertem Magneten erkennen kann. In diesem Angelspiel müssen die Spielerinnen und Spieler versuchen, möglichst viele und wertvolle Fische aus einem Teich zu angeln. Die Holzfigur wird hierbei zum Fischen benutzt und das Mobilgerät stellt das Gewässer dar. Durch das Tippen auf den Screen kann man zudem Einfluss auf die Fische nehmen und sie in eine bestimmte Richtung lenken. Dieses Konzept wurde für das Softwareunternehmen Xitaso GmbH entwickelt, um die Magnettechnologie in ein präsentierfähiges Format zu bringen. Durch Nutzertests hat sich ergeben, dass das Spiel besonders für Kinder und Familien geeignet ist und bei einer Weiterentwicklung der Spielmechaniken auch das Potenzial zu einem serienfähigen Hybridspiel hätte. Die Darstellung der Fische mittels Schwarmalgorithmus wurde durchweg positiv aufgenommen und auch die Steuerung per Magnet hat bis auf zeitweise auftretende Hardwareprobleme gut funktioniert.

Download

Student project: Der Zeitkurier (2013)

Der Zeitkurier is an interactive installation about focus and finding cyclic patterns in the flood of modern mass media. It is a 6th semester student project in the Interactive Media programme at Augsburg University of Applied Sciences (summer 2013).

Student team: Thomas Englhard, Max Fath, Vyacheslav Gurevich, Judith Gösch, Lukas Krüger, Jonas Kugelmann, Kristina Rieger, Johannes Rauch

Supervision: Prof. Andreas Kunert, Prof. Dr. Michael Kipp

Der Zeitkurier ist eine interaktive Rauminstallation mit dem Ziel, Besucher auf Zeitgeschehnisse aufmerksam zu machen und ihnen die Möglichkeit zu geben sich mit diesen auseinander zu setzen. Das Projekt versucht in einer Zeit der medialen Reizüberflutung dem Besucher eine fokussierte und nachhaltige Einsicht auf Vergangenes, Vergessenes und sich Wiederholendes zu geben. Durch die Installation soll der Benutzer zum Nachdenken angeregt werden.

Abschlussbericht (PDF)

Webseite

Facebook

More videos

Let’s Get Physical

A current direction in human-computer interaction is concerned with bringing back physical elements like real buttons, cubes, bricks, rulers etc. to the world of UI’s. This has been coined “Tangible User Interfaces” (TUIs) by Ishii from MIT (Ishii, Ullmer 1997). The idea is to exploit the physical properties of the object because they suggest a certain operations (round objects invite you to rotate them, buttons invite pressing them) and there is a sensual experience (haptic feedback) involved that is sometimes painful amiss in current touch interfaces.

Here’s an example that is based on the original ideas of Ulmer and Ishii (metaDESK):

Augmented Urban Model from Katja Knecht on Vimeo.

So in TUIs you control digital information (e.g. a desktop) by manipulating physical objects. However, what about the other way round? I.e. if the digital information changes, how can the physical objects be changed? This brings up a whole new set of potentials but also of technical challenges (Ishii et al. 2012).

The latest incarnation of this idea is inFORM, again from Ishii’s Tangible Media research group at MIT (Follmer et al. 2013):

In the arts the idea of bringing digital back to physical is manifest in “kinetic sculptures”, i.e. sculptures that change over time. Here is one impressive example at Singapore airport:

“Kinetic Rain” Changi Airport Singapore from ART+COM on Vimeo.

Literature

Hiroshi Ishii and Brygg Ullmer (1997) Tangible bits: towards seamless interfaces between people, bits and atoms. In: Proceedings of the ACM SIGCHI Conference on Human factors in computing systems (CHI ’97). ACM, New York, NY, USA, 234-241.

Sean Follmer, Daniel Leithinger, Alex Olwal, Akimitsu Hogge, and Hiroshi Ishii (2013) inFORM: dynamic physical affordances and constraints through shape and object actuation. In Proceedings of the 26th annual ACM symposium on User interface software and technology (UIST ’13). ACM, New York, NY, USA, 417-426.

Hiroshi Ishii, Dávid Lakatos, Leonardo Bonanni, and Jean-Baptiste Labrune. (2012) Radical atoms: beyond tangible bits, toward transformable materials. interactions 19, 1 (January 2012), 38-51.

Copyright © 2024 Michael Kipp's Blog

Theme by Anders NorenUp ↑