Resumen de Proposition de modélisation de la compréhension de textes multimédias de type « bandes dessinées »: analyse de l´impact des composantes verbales et imagées

Alexandre Sonine, Lucile Chanquoy

• English

  This article investigates the mechanisms of multimedia text (here, a comic strip) comprehension, of which the different components (words and pictures) belong to the same sensorial modality, but which differ in their semiotic origin. This interaction between words and graphics in a multimedia text influences the whole understanding of a message. After a critical analysis of the existing models, which most of them are based on the theory of dual coding or the theory of mental models, a new connectionist model is elaborated by the authors in order to describe and explain the functioning of processing activities for multimedia texts. This model examines the differences between the processing of written words and those of pictures in order to demonstrate specific ways in which the activation of mental models spreads from the primary level of object identification to the elaboration of its semantic representation. We revise several statements emphasising the differences in processing heterogeneous elements in multimedia texts. An experiment supporting the model follows the theoretical study described above. In this study, participants had to describe using one word the complete comic strip, its verbal component or its pictures (without any text). The main results verify all of the a priori hypotheses and lead to validate the proposed model.

• français

  Cet article vise à spécifier les mécanismes de compréhension de la bande dessinée, dont les composantes hétérogènes (verbale et imagée) appartiennent à une même modalité sensorielle, mais diffèrent par leur origine sémiotique. Plus particulièrement, l' interaction entre le verbal et le graphique dans un texte multimédia est posée, cette caractéristique étant considérée comme spécifique et influençant le traitement du contenu. Après une analyse critique des modèles existants, qui s' appuient sur la théorie du double codage ou sur celle des modèles mentaux, un modèle d' inspiration connexionniste est proposé comme étant le plus adapté pour concevoir la nature et le fonctionnement des mécanismes de traitement des composantes hétérogènes de ces textes. Le modèle retrace le cheminement des informations à partir du traitement primaire d' identification jusqu' à la construction de la représentation au niveau sémantique, pour chaque composante, verbale et imagée. Ce modèle est ensuite vérifié grâce à une recherche expérimentale s' appuyant sur une tâche de dénomination proposée dans trois conditions : texte intégral de la BD, composante verbale seule et composante imagée seule. L' ensemble de résultats empiriques obtenus au cours de l' expérience valide le modèle défendu.