Ph.D.: Equivalent representations of Multi-Modal User Interfaces Through Parallel Rendering (Kris Van Hees)

Nederlands
Hoewel het GUI concept reeds sinds 1974 bestaat en beschikbaar is voor commercieel en persoonlijk gebruik sinds 1984, worden blinde gebruikers nog altijd geconfronteerd met frequente obstakels wanneer ze computersystemen met een GUI gebruiken. Tijdens de afgelopen jaren zijn apparaten met dit soort UI meer gebruikelijk geworden in ons dagelijks leven. De beperkende invloed op blinde gebruikers blijft groeien ten gevolge van het impliciet visuele interactie model. Bovendien heeft de algemene beschikbaarheid van meer flexibele systemen zoals het X Windows System de complexiteit nog verhoogd doordat softwareontwikkelaars een ruimere keuze hebben tussen verscheidene grafische toolkits voor hun toepassingen.
Alternatieven voor de grafische gebruikersomgeving zijn niet exclusief nuttig voor blinden. Het dagelijkse leven geeft ons situaties waar weergave van de UI in een andere modaliteit nuttig kan zijn. Een handicap is nu eenmaal een conditie die beperkingen oplegt aan het dagelijkse leven, en diezelfde beperkingen kunnen dikwijls opgelegd worden door omgevingsinvloeden.
Huidige methodes om alternatieve weergaven voor de gebruikersomgeving te kunnen verstrekken gebruiken meestal informatie van de standaard (meestal visuele) weergave, via onderschepte informatie, haken in het grafische toolkit, oproepen naar de toepassing en scripting. Ander onderzoek verkent het gebruik van aangepaste gebruikersomgevingen of aanpassende UI's op basis van gebruiker en omgeving modellen. Al deze methodes hebben beperkingen ten gevolge van het feit dat ze alternatieve weergaven als een afgeleide van de visuele weergave verstrekken, hetzij als een externe waarnemer of als een aangepaste UI.
Op basis van de GUI ontwerp principes toont dit werk aan dat de GUI gegeneraliseerd kan worden zodat het eigenlijk een visualisatie is van een meer algemeen concept: Metaphorical User Interface. Op basis van de MUI kan een nieuwe definitie voor "Graphical User Interface"' gegeven worden.
Het welbekende principe om toegang te verlenen voor GUIs in plaats van grafische schermen heeft een sterke invloed gehad op de ontwikkelingen van ondersteunende technologie oplossingen voor computer systemen. Validatie voor dit principe wordt hier gegeven, en op basis van het MUI concept wordt de focus voor toegankelijkheid verlegd naar het conceptuele model. Dit toont aan dat toegang moet verleend worden voor de MUI in plaats van de visuele weergave.
Verder bouwend op het MUI concept, en huidig en verleden onderzoek in HCI en multimodale omgevingen wordt een nieuwe methode voorgesteld om multimodale versies voor de UI te verstrekken via alternatieve weergaven in parallel met de visuele weergave in plaats van als afgeleide: Parallel User Interface Rendering (PUIR). Op basis van een AUI beschrijving kunnen zowel visuele als niet-visuele versies aangemaakt worden als weergaven van eenzelfde UI. Deze aanpak zorgt ervoor dat alle informatie betreffende UI elementen (inclusief semantische betrekkingen) beschikbaar is voor alle weergave-agenten, waardoor problemen zoals de noodzaak aan heuristieken om verbanden tussen labels en velden te vinden of schijnbaar onzichtbare elementen vermeden kunnen worden.
In the PUIR raamwerk wordt de semantiek van de gebruikersinteractie op het abstracte niveau gedefinieerd waardoor consistentie tussen input modaliteiten gegarandeerd kan worden. Invoerapparaten kunnen sterk gekoppeld zijn aan specifieke weergave agenten (bijvoorbeeld een muis in een bitmap weergave). Alle interactie van de gebruiker via een dergelijk apparaat wordt naar abstracte semantische interacties vertaald zodat ze onafhankelijk van de weergave geinterpreteerd kunnen worden.
De vernieuwende aanpak die in dit proefschrift voorgesteld wordt is een uitbreidbaar raamwerk waarin ondersteuning voor nieuwe UI elementen dynamisch kan worden opgenomen. Dit vermijdt de al te frequente frustratie ten gevolge van het feit dat nieuwe elementen dikwijls pas in een nieuwere versie van een toegankelijkheidstechnologie beschikbaar zijn.
De PUIR aanpak kan bijdragen leveren tot de gebieden van HCI en toegankelijkheid voor meer dan het onmiddellijke doel om niet-visele weergaven voor GUIs te verstrekken. Doordat een raamwerk beschikbaar wordt gemaakt waarin UI weergave en gebruikersinteractie geabstraheerd worden, is het mogelijk om extra weergave agenten en ondersteuning voor extra invoermodaliteiten te verstrekken om de behoeften van andere gebruikersgroepen te ondersteunen. Het gebruik van een onderliggende AUI-gebaseerde verwerkingseenheid zorgt er ook voor dat een diverse groep van gebruikers kunnen samenwerken op basis van een soortgelijk mentaal interactie model, ongeacht de weergave die ze gebruiken. Het PUIR raamwerk kan ook (toegankelijke) interactie met programmatuur van op afstand mogelijk maken. Dit werk kan ook van toepassing zijn in het kader van het geautomatiseerd testen van toepassingen doordat het programmatische interactie met een toepassing mogelijk maakt.
English
Even though the Graphical User Interface (GUI) has been in existence since 1974, and available for commercial and home use since 1984, blind users still face many obstacles when using computer systems with a GUI. Over the past few years, our daily life has become more and more infused with devices that feature this type of user interface (UI). This continuing trend increasingly impacts blind users primarily due to the implied visual interaction model. Furthermore, the general availability of more flexible windowing systems such as the X Window System has increased the degree of complexity by providing software developers with a variety of graphical toolkits to use for their applications.
Alternatives to the graphical user interface are not exclusively beneficial to the blind. Daily life offers us various opportunities where presenting the UI in a different modality may be a benefit. After all, a disability is a condition that imposes constraints on daily life, and often those same constraints are imposed by environmental influences.
Current approaches to providing alternate representations of a user interface tend to obtain information from the default (typically visual) representation, utilising a combination of data capture, graphical toolkit hooks, queries to the application, and scripting. Other research explores the use of adapted user interface development or context-based runtime UI adaptation based on user and environment models. All suffer from inherent limitations due to the fact that they provide alternate representations as a derivative of the default representation, either as an external observer or as an adapted UI.
Based on the original design principles for graphical user interfaces, this work shows that the original design can be generalised where a GUI is essentially the visualisation of a much broader concept: the Metaphorical User Interface (MUI). Expanding upon this MUI, a new definition is provided for "Graphical User Interface".
The well-known paradigm to provide access to GUIs rather than graphical screens has been very influential to the development of assistive technology solutions for computer systems. Validation for this paradigm is presented here, and based on the MUI concept, the focus of accessibility is shifted to the conceptual model, showing that access should be provided to the underlying MUI rather than the visual representation.
Building further on the MUI concept, and past and current research in Human-Computer Interaction (HCI) and multimodal interface, a novel approach to providing multimodal representations of the user interface is presented where alternative renderings are provided in parallel with the visual rendering rather than as a derivative thereof: Parallel User Interface Rendering (PUIR). By leveraging an abstract user interface (AUI) description, both visual and non-visual renderings are provided as representations of the same UI. This approach ensures that all information about UI elements (including semantic information and functionality) is available to all rendering agents,eliminating problems such as requiring heuristics to link labels and input fields, or seemingly undetectable elements.
With the PUIR framework, user interaction semantics are defined at the abstract
level, thereby ensuring consistency across input modalities. Input devices may be tightly coupled to specific renderings (e.g. a pointer device in a bitmap rendering), but all user interaction by means of such a device maps to abstract semantic events that are processed independent from any rendering.
The novel approach presented in this work offers an extensible framework where support for new interaction objects can be included dynamically, avoiding the all too common frustration that results from needing to wait for assistive technology updates that "might" incorporate support for the new objects.
The PUIR approach can contribute to the fields of HCI and accessibility well beyond the immediate goal of providing non-visual representations of GUIs. By providing a framework where UI rendering and user interaction are abstracted, additional rendering agents and support for additional input modalities can be provided to accommodate the needs of other disability groups. The use of an underlying AUI-based processing engine also ensures that a diverse group of users can collaborate using a similar mental interaction model regardless of the rendering they use. The PUIR framework is also capable of supporting (accessible) remote access to applications, and the presented work may benefit automated application testing methodologies as well by providing a means to interact with an application programmatically.