L'interaction homme-machine

L’interaction homme-machine

Le contexte de l’interaction

Schilit (Schilit, Adams et Want, 1994) a défini le contexte par le lieu d‟utilisation, l‟identitéde l‟utilisateur et les objets dans son environnement. Certains chercheurs (Dey, 2001; Schmidt et al., 1999; Souchon, Limbourg et Vanderdonckt, 2002) ont pris cette définition et ont tenté de définir formellement le contexte. D‟autres, comme Chen & Kotz (Chen et Kotz, 2000) ont ajouté au contexte la situation temporelle, par exemple la date, l‟heure, etc. En ce qui nous concerne, nous adaptons la définition de Dey qui considère le contexte comme toute information utilisée pour caractériser la situation d’une entité. Dans sa définition, l‟entité est perçue comme étant une personne, un lieu ou un objet pertinent pour l’interaction entre l’utilisateur et l’application.

Organisation de la thèse

Dans le premier chapitre, nous présenterons une revue de la littérature pour illustrer la contribution des travaux précédents à l‟élaboration de notre thèse, ainsi que l‟originalité de nos principales contributions. Les quatre chapitres suivants s‟articuleront autour de quatre articles dont les deux premiers sont acceptés et les deux derniers ont fait l‟objet de publications parues.

L’interaction homme-machine

L‟interaction homme-machine étudie la manière dont l‟utilisateur interagit avec la machine (Bellik, 1995). Les composants d‟interaction sont généralement perçus comme les moyens de communication (logiques ou physiques) entre l‟utilisateur et la machine (Rousseau et al.,2006). Dans la littérature, trois types de composants d‟interaction sont identifiés: le mode, la modalité et le média.

The Data Access Layer

The Searching and Editing Agent The Searching and Editing Agent(SEA) allows navigation in and manipulation of a mathematical expression, controlling how mathematical terms are read and edited. SEA is composed of the following components: (1) the Searcher, (2) the Editor, and (3) the MathML Generator. SEA allows either sequential or random term access. Vocal commands for accessing mathematical terms are adopted because of their proven efficiency (i.e. cases of MathTalk and Meditor (Bellik, 1995)). Via vocal commands, the user directly accesses an object, and perceives the modifications on the object via tactile and/or sound feedback.Figure 2.13 illustrates the functionalities of SEA. Using user interface, the user can issue a vocal command (e.g. go to <term 5>). In (step 1), SMA sends user command to the Searcher. In (step 2), the Searcher verifies the validity of the command using grammar rules. If valid, the command is executed, and the result is sent to selected device(s) for presentation (step 3). Otherwise, no command is executed.

Le rapport de stage ou le pfe est un document d’analyse, de synthèse et d’évaluation de votre apprentissage, c’est pour cela chatpfe.com propose le téléchargement des modèles complet de projet de fin d’étude, rapport de stage, mémoire, pfe, thèse, pour connaître la méthodologie à avoir et savoir comment construire les parties d’un projet de fin d’étude.

Table des matières

INTRODUCTION
CHAPITRE 1 ÉTAT DE L‟ART SUR LA PRÉSENTATION DES EXPRESSIONS MATHÉMATIQUES À DES UTILISATEURS NON-VOYANTS
1.1 Définitions
1.1.1 L‟interaction homme-machine
1.1.2 Le mode
1.1.3 La modalité
1.1.4 Le média.
1.1.5 La forme de la présentation.
1.1.6 Le contexte de l‟interaction
1.2 Les médias et les méthodes d‟accès aux informations utilisés par les non-voyants.
1.2.1 Le braille
1.2.2 Les médias supportant le mode TPK
1.2.3 La parole
1.2.4 Les sons non parlés, les bips sonores, les earcons
1.3 Les besoins des utilisateurs.
1.4 Les approches pour l‟accès aux mathématiques.
1.4.1 Les formes visuelles
1.4.2 Les approches Braille/tactiles.
1.4.3 Les approches sonores
1.5 Les approches pour l‟édition des expressions.
1.5.1 Lambda
1.5.2 Le projet Infty
1.5.3 WinTriangle
1.6 Comparaison et analyse des approches
1.7 Résumé : les approches pour l‟accès aux informations par les non-voyants
1.8 La multimodalité
1.9 Utilisation des modalités
1.9.1 TYCOON
1.9.2 Propriétés CASE
1.9.3 Propriétés CARE
1.9.4 Fusion/Fission
1.9.5 Les types de multimodalités selon Bellik
1.10 Taxonomie des modalités
1.11 La présentation multimodale de l‟information
1.12 Architectures des systèmes intelligents
1.12.1 Seeheim
1.12.2 MVC
1.12.3 ARCH
1.12.4 PAC.
1.12.5 PAC-Amodeus
1.12.6 L‟architecture O. A. A.
1.12.7 Le modèle à couches
1.12.8 Choix de l‟architecture
1.13 Interfaces multimodales pour les non-voyants
1.14 Résumé : les interactions multimodales
1.15 Conclusion du chapitre 1
CHAPITRE 2 INFRASTRUCTURE OF AN ADAPTIVE MULTI-AGENT SYSTEM FOR PRESENTATION OF MATHEMATICAL EXPRESSION TO VISUALLY-IMPAIRED USERS
2.1 Introduction
2.2 Review of the State of the Art
2.3 Technical Challenges
2.4 The Components of an Adaptive Multimodal Computing System
2.4.1 Our Adaptive Multimodal Computing System for Mathematical
Expression Presentation to Visually Impaired Users
2.4.2 Modality and Media
2.4.3 The Context Gathering Layer
2.4.4 The Control and Monitoring Layer
2.4.5 The Data Analysis Layer
2.4.6 The Presentation Layer
2.4.7 The Data Access Layer
2.5 Fault Tolerant System.
2.5.1 General Principle of a Fault-tolerant System
2.5.2 Our Multi-agent Fault-Tolerant System
2.6 Example of Simulation with Jade
2.7 Conclusion
2.8 References
CHAPITRE 3 AN ADAPTIVE MULTIMODAL MULTIMEDIA COMPUTING SYSTEM FOR PRESENTATION OF MATHEMATICAL EXPRESSIONS TO VISUALLY-IMPAIRED USERS
3.1 Introduction
3.2 Technical Challenges
3.3 Detailed Design and Principles for the Resolution of System Requirements
3.3.1 Using Machine Learning to Find Optimal Suitable Modalities to an
Interaction Context
3.3.2 Algorithms for Finding Optimal Modalities for Interaction Context 3.3.3 Relationship between Modality and Media Devices
3.3.4 Mathematical Expression and Presentation Formats
3.3.5 Analysis of a Mathematical Expression
3.3.6 Selection of Presentation Format
3.4 Detailed Design and Principles for the Resolution of System Requirements
3.4.1 Architectural Framework
3.4.2 Interaction Context Specification
3.5 Formal Specification, Simulation and Examples
3.5.1 Formal Specifcation and Petri Net
3.5.2 Sample Case
3.5.3 Simulation
3.5.4 Sample Case
3.5.5 Simulation
3.6 Conclusion
3.7 Appendix A – figures on optimization algorithms
3.8 Acknowledgment
3.9 References
CHAPITRE 4 COMPLEXITY OF MATHEMATICAL EXPRESSIONS IN ADAPTIVE MULTIMODAL MULTIMEDIA SYSTEM ENSURING ACCESS TO MATHEMATICS FOR VISUALLY IMPAIRED USERS
4.1 Introduction
4.2 Related Work
4.3 Purpose of the Work
4.4 Modality, Media and Presentation Format
4.4.1 Modality and Media
4.4.2 Presentation Format
4.5 Adaptive Multimodal Computing Design
4.5.1 Architectural Framework
4.5.2 Contextual Information
4.6 Mathematics
4.6.1 Mathematical Taxonomy
4.6.2 Principal Branches of Mathematics:
4.6.3 Mathematical Expression
4.7 The Experiment
4.7.1 Hypothesis
4.7.2 Evaluation Protocol
4.7.3 Experiment Running
4.8 Results of Experiments and Discussions
4.8.1 Arithmetic
4.8.2 Algebra
4.8.3 Analysis
4.8.4 Geometry / Trigonometry
4.8.5 Logic
4.8.6 Statistics & Probability
4.8.7 Combination4.9 Results and Application
4.9.1 Results Analysis
4.9.2 Integration of Expression Complexity in Our System
4.10 Conclusion
4.11 Appendix.
4.12 References
CHAPITRE 5 MIDDLEWARE FOR UBIQUITOUS ACCESS TO MATHEMATICAL
EXPRESSIONS FOR VISUALLY-IMPAIRED USERS
5.1 Introduction
5.2 Review of the State of the Art
5.3 Challenges, Proposed Solutions and Contribution
5.4 Infrastructure and System Architecture
5.4.1 System Architecture
5.4.2 The Ubiquitous Mathematical Document
5.4.3 Anytime, Anywhere Mathematical Computing
5.5 Designing an Interaction Context Adaptive System
5.5.1 Theoretical Machine Learning
5.5.2 Basic Principles of Interaction Context
5.5.3 Finding Optimal Modalities for Interaction Context
5.5.4 Realizing User Task Using Optimal Modalities and Supporting Media Devices
5.5.5 Machine Learning Training for Selection of Application Supplier
5.6 Configuration and Optimization of Application Supplier
5.6.1 Alternative Configuration Spaces.
5.6.2 Optimizing Configuration of User‟s Task
5.7 Interaction Context, Modality and Media Devices.
5.8 Design Specification and Scenario Simulations
5.8.1 Selection of Modalities.6
5.8.2 Selection of Media Devices.
5.8.3 Selection of Application Supplier
5.8.4 Optimizing User‟s Task Configuration
5.8.5 Specification for Detecting Suitability of Modality
5.8.6 Simulation Results.
5.9 Conclusion
5.10 References
CONCLUSION .
ANNEXE I CONTRIBUTION DÉTAILLÉE
BIBLIOGRAPHIE