Hidden Semi-Markov Models to Segment Reading Phases from Eye Movements - VIBS Accéder directement au contenu
Rapport (Rapport De Recherche) Année : 2021

Hidden Semi-Markov Models to Segment Reading Phases from Eye Movements

Modèles de semi-Markov cachés pour la segmentation de trajectoires oculométriques en phases de lecture

Résumé

Textual information search is not a homogeneous process in time, neither from a cognitive perspective nor in terms of eye-movement patterns, as shown in previous studies. Our objective is to analyze eye-tracking signals acquired through participants achieving a reading task aiming at answering a binary question: Is the text related or not to some given target topic? This activity is expected to involve several phases with contrasted oculometric characteristics, such as normal reading, scanning, careful reading, associated with different cognitive strategies, such as creation and rejection of hypotheses, confirmation and decision. To model such phases, we propose an analytical data-driven method based on hidden semi-Markov chains, whose latent states represent different dynamics in eye movements. Four interpretable phases were highlighted: normal reading, speed reading, information search and slow confirmation. This interpretation was derived using model parameters and scanpath segmentations. It was then confirmed using different external covariates, among which semantic information extracted from texts. Analyses highlighted a good discrimination of reading speeds by phases, some contrasted use of phases depending on the degree of relationship between text semantic contents and target topics, and a strong preference of specific participants for specific strategies. As another output of our analyses, the individual variability in all eye-movement characteristics was assessed to be high and thus had to be taken into account, particularly trough mixed-effects models. As a perspective, the possibility of improving reading models by accounting for possible heterogeneity sources during reading was discussed. We highlighted how analysing other sources of information regarding the cognitive processes at stake, such as EEG recordings, could benefit from the segmentation induced by our approach.
La recherche d’information textuelle n’est pas un processus homogène dans le temps, que ce soit d’un point de vue cognitif ou de celui des mouvements des yeux, ainsi que l’ont montré des études précédentes. Notre objectif est d’analyser des signaux oculométriques acquis lors de tâches où les participant.e.s doivent répondre à une question binaire : est-ce que le texte est lié ou non à un thème cible donné ? Nous nous attendons à ce que cette activité mette en jeu diverses phases avec des caractéristiques oculométriques contrastées, telle que la lecture normale, rapide, de confirmation et de décision. Pour mettre en évidence des différentes phases, nous proposons une méthode basée sur l’analyse de données fondée sur des modèles semi-markoviens cachés, dont les états latents représentent différentes dynamiques relatives aux mouvements des yeux. Quatre phases interprétables ont été mises en évidence : lecture normale, lecture rapide, recherche d’information et confirmation lente. Leur interprétation découle des paramètres du modèle et de la segmentation des traces oculométriques. En perspective, nous discutons des possibilités offertes par cette approche pour améliorer des modèles de lecture en prenant en compte de potentiels modes de lecture hétérogènes mobilisés dans ce type de tâche. Nous mettons en évidence comment l’analyse d’autres sources d’information relatives aux processus cognitifs mis en jeu, telles que des enregistrements EEG, pourraient bénéficier de la segmentation induite par notre approche.
Fichier principal
Vignette du fichier
RR-9398.pdf (988.33 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03155843 , version 1 (09-03-2021)
hal-03155843 , version 2 (07-10-2022)

Identifiants

  • HAL Id : hal-03155843 , version 1

Citer

Brice Olivier, Anne Guérin-Dugué, Jean-Baptiste Durand. Hidden Semi-Markov Models to Segment Reading Phases from Eye Movements. [Research Report] RR-9398, Inria Grenoble - Rhône-Alpes. 2021. ⟨hal-03155843v1⟩

Collections

INRIA-RRRT LARA
219 Consultations
275 Téléchargements

Partager

Gmail Facebook X LinkedIn More