A Systems Theory of Multimodality

• Autores: James Gee
• Localización: UTE Teaching & Technology: Universitas Tarraconensis, ISSN-e 2385-4731, ISSN 1135-1438, Nº 2, 2018, págs. 6-22
• Idioma: inglés
• Títulos paralelos:
  • Una teoria de sistemes de la multimodalitat
• Enlaces
  • Texto completo
• Resumen
  • català

    Aquest article ofereix una proposta de teoria de com abordar l'anàlisi dels "textos" multimodals (usant la paraula de forma àmplia per a qualsevol conjunt integrat de símbols que s'assemblen als textos escrits en poder comunicatiu). Molt treball sobre la multimodalitat és nou i hi ha qüestions clau que encara no s'han abordat, i menys resolt. La teoria que produeixo tracta les maneres com a sistemes semiòtics (conjunts de convencions socials sobre el significat) i la multimodalitat com un sistema de sistemes. Una teoria en un nou domini ens ajuda a entendre què prenem com les "coses" que anem a analitzar (la nostra "ontologia"). Al seu torn, la nostra elecció de "coses" determina el tipus d'eines que necessitarem per a l'anàlisi i el tipus de preguntes que farem, algunes de les quals es descriuen en aquest document. La teoria desenvolupada aquí es basa en les correspondències entre els sistemes lingüístics i els sistemes modals no lingüístics. El document conclou amb una discussió sobre les implicacions de l'enfocament que proposo per al treball sobre el disseny i l'aprenentatge.

  • English

    This paper offers a tentative theory of how to approach the analysis of multimodal “texts” (using the word loosely for any integrated set of symbols that resemble written texts in communicative power). Much work on multimodality is new and many key issues are not yet broached, let alone settled. The theory I produce treats modes as semiotic systems (sets of social conventions about meaning) and multimodality as a system of systems. A theory in a new domain helps us understand what we take the “things” we are going analyze to be (our “ontology”). In turn, our choice of “things” determines the sorts of tools we will need for analysis and the sorts of questions we will ask, a number of which are delineated in this paper. The theory developed here is based on the correspondences between linguistic systems and non-linguistic modal systems. The paper closes with a discussion of the implications of the approach I propose for work on design and learning.