Мультимодальность: к вопросу о терминологической определенности
Аннотация
Статья посвящена теоретическим аспектам исследования современной коммуникации: исследуется, каким образом понятие «мультимодальность» реализуется в современном интернациональном научном дискурсе и какие перспективы открывает перед специалистами, изучающими комплексный феномен информационно-коммуникативного обмена. Основное внимание в статье уделено истории термина и его омонимических вариантов в различных дисциплинах, а также формированию понятия «мультимодальность» для обозначения феномена целостного акта коммуникации, состоящего из множества различных способов (модусов) передачи смысла. Рассмотрены подходы к анализу коммуникации методами мультимодального дискурс-анализа, указано на перспективы и ограничения такого подхода. С точки зрения автора, само понятие «мультимодальность» вступает в противоречие с понятием «мультимодальный дискурс-анализ», поскольку при разложении коммуникативного события на единицы утрачивается целостность, присущая феномену. Дальнейшее развитие мультимодального подхода связано с поиском центра коммуникативного эффекта (смысла), «упакованного» в виде системы взаимосвязанных модусов.
Скачивания
Данные скачивания пока не доступны.
Литература
1. Gastev, YU. A. (1974) Modal'nost' [=Modality], in: Bol'shaya sovetskaya entsiklopediya [=The Great Soviet Encyclopedy], 30 vol., ed. A. M. Prokhorov; 3d edition, vol. 16, Moscow, p. 390. (In Russ.).
2. Kibrik, A. A., Fedorova O. V. (2018) “K voprosu o strukture mul'tikanal'nogo diskursa” [=On the question of the structure of multi-channel discourse], in: Obrazy yazyka i zigzagi diskursa: sbornik nauchnykh statey k 70-letiyu V. Z. Dem'yankova, red. V. V. Feshchenko [=Images of the language and zigzags of the discourse: a collection of scientific articles on the 70th anniversary of V. Z. Dem’yankov; V. V. Feschenko (ed.)], Moscow, pp. 180–191. (In Russ.).
3. Kibrik, A. A. (2010) “Mul'timodal'naya lingvistika” [=Multimodal linguistics], in: Kognitivnyye issledovaniya: sbornik nauchnykh trudov [=Cognitive studies: a collection of scientific papers], Moscow, pp. 135–152. (In Russ.).
4. Kibrik, A. A. YAzyk kak on yest': russkiy mul'timodal'nyj diskurs: kartochka proyekta [=Language as it is: Russian multimodal discourse: project card], available at: http://rscf.ru/prjcard_int?14-18-03819, accessed 08.01.2019. (In Russ.).
5. Latour, B. (2014) Peresborka sotsial'nogo: vvedeniye v aktorno-setevuyu teoriyu [=Reassembling the social: An Introduction to Actor-Network-Theory], Moscow, 384 p. (In Russ.).
6. Medova, A. A. (2016) Ontologiya modal'nosti [=Modality Ontology]: PhD thesis, Omsk, 303p. (In Russ.).
7. Omel'yanenko, V. A., Remchukova, Ye. N. (2018) “Polikodovyye teksty v aspekte teorii mul'timodal'nosti” [=Polycode texts in the aspect of the theory of multimodality], in: Kommunikativnyye issledovaniya [=Communicative research], 3 (17), pp. 66–78, doi: 10.25513/2413-6182.2018.3.66-78. (In Russ.).
8. Saussure, F. de. (1999) Kurs obshcheĭ lingvistiki [=General Linguistics Course], Yekaterinburg, 432 p. (In Russ.).
9. Bateman, J. A. (2014) Using Multimodal Corpora for Empirical Research, in: Jewitt, Carey (ed.): The Routledge Handbook of Multimodal Analysis. London, pp. 238–252, https://doi.org/10.1080/17405904.2013.813770.
10. Bateman, J., Wilfeuer, J. and Hippala, T. (2017) Multimodality. Foundations, Research and Analysis: A Problem-Oriented Introduction, London, 424 p.
11. DePaulo, B. M., Rosenthal, R. (1979) The structure of nonverbal decoding skills, in: Journal of Personality, 47 (3), pp. 506–517.
12. English Oxford Living Dictionary, available at: https://en.oxforddictionaries.com/definition/modality, accessed 08.01.2019.
13. Garth, T. R. (1919) Work curves, in: Journal of Educational Psychology, 10 (5–6), pp. 277–283, http://dx.doi.org/10.1037/h0071759.
14. Goffman, E. (1964) The neglected situation, in: American anthropologist, 66 (6_PART2), pp. 133–136.
15. Halliday, M. A. K. (1985) Introduction to Functional Grammar, London.
16. Halliday, M. A. K. (1978) Language as Social Semiotic: The Social Interpretation of Language and Meaning, London, 256 p.
17. Iedema, R. (2003) Multimodality, resemioticization: Extending the analysis of discourse as a multisemiotic practice, in: Visual Communication, 2 (1), pp. 29–57.
18. Johnstone, B. (2016) Language theory in contemporary sociolinguistics: Beyond Dell Hymes?, in: N. Coupland (ed.), Sociolinguistics: Theoretical Debates, Cambridge: Cambridge University Press, pp. 417-432, doi:10.1017/CBO9781107449787.020.
19. Kress G. (2010) Multimodality. A Social Semiotic Approach to Contemporary Communication. London: Routledge, 232 p.
20. Kress, G. R., van Leeuwen, T. (2001) Multimodal Discourse: The modes and media of contemporary communication. London: Edward Arnold, 152 p.
21. Kress, G. (2004) Reading images: Multimodality, representation and new media, in: Information Design Journal, Vol. 12, Issue 2, pp. 110–119, doi: https://doi.org/10.1075/idjdd.12.2.03kre.
22. Kress, G., Van Leeuwen, T. (1996) Reading images: The grammar of visual design. London: Routledge, 312 p.
23. Machin, D., Mayr, A. (2012) How to Do Critical Discourse Analysis: A Multimodal Introduction, London: SAGE Publications, 240 p.
24. Machin, D. (2007) Introduction to Multimodal Analysis, London: Hodder Arnold, 224 p.
25. Machin, D. (2013) What is multimodal critical discourse studies?, in: Critical Discourse Studies, 10 (4), pp. 347–355, doi: 10.1080/17405904.2013.813770.
26. Mondada, L. (2016) Challenges of multimodality: Language and the body in social interaction, in: Journal of sociolinguistics, 20 (3), pp. 336–366, dois 10.1111/josl.1_12177.
27. O’Halloran, K. L. (2004) Introduction, in: K. L. O’Halloran (ed.) Multimodal Discourse Analysis: systemic functional perspectives. London: Continuum, pp. 1–7.
28. O’Halloran, K. L. (2011) Multimodal Discourse Analysis, in: K. Hyland and B. Paltridge (eds.) Companion to Discourse. London and New York, pp. 120–137.
29. Roback, A. A. (1922) Intelligence and Intellect, The Journal of Philosophy, Vol. 19, No. 12, pp. 325–330, available at: https://www.jstor.org/stable/2939874, accessed 08.01.2019.
30. Sakr, M. (2018) Multimodal participation frameworks during young children’s collaborative drawing on paper and on the iPad, in: Thinking Skills and Creativity, 29, pp. 1–11, doi: 10.1016/j.tsc.2018.05.004.
31. Schuh, E. (1955) Comparative, Relative, and Normal Value, in: Philosophy and Phenomenological Research, Vol. 16, No. 2, pp. 229–236, available at: http://www.jstor.org/stable/2103776, accessed 08.01.2019.
2. Kibrik, A. A., Fedorova O. V. (2018) “K voprosu o strukture mul'tikanal'nogo diskursa” [=On the question of the structure of multi-channel discourse], in: Obrazy yazyka i zigzagi diskursa: sbornik nauchnykh statey k 70-letiyu V. Z. Dem'yankova, red. V. V. Feshchenko [=Images of the language and zigzags of the discourse: a collection of scientific articles on the 70th anniversary of V. Z. Dem’yankov; V. V. Feschenko (ed.)], Moscow, pp. 180–191. (In Russ.).
3. Kibrik, A. A. (2010) “Mul'timodal'naya lingvistika” [=Multimodal linguistics], in: Kognitivnyye issledovaniya: sbornik nauchnykh trudov [=Cognitive studies: a collection of scientific papers], Moscow, pp. 135–152. (In Russ.).
4. Kibrik, A. A. YAzyk kak on yest': russkiy mul'timodal'nyj diskurs: kartochka proyekta [=Language as it is: Russian multimodal discourse: project card], available at: http://rscf.ru/prjcard_int?14-18-03819, accessed 08.01.2019. (In Russ.).
5. Latour, B. (2014) Peresborka sotsial'nogo: vvedeniye v aktorno-setevuyu teoriyu [=Reassembling the social: An Introduction to Actor-Network-Theory], Moscow, 384 p. (In Russ.).
6. Medova, A. A. (2016) Ontologiya modal'nosti [=Modality Ontology]: PhD thesis, Omsk, 303p. (In Russ.).
7. Omel'yanenko, V. A., Remchukova, Ye. N. (2018) “Polikodovyye teksty v aspekte teorii mul'timodal'nosti” [=Polycode texts in the aspect of the theory of multimodality], in: Kommunikativnyye issledovaniya [=Communicative research], 3 (17), pp. 66–78, doi: 10.25513/2413-6182.2018.3.66-78. (In Russ.).
8. Saussure, F. de. (1999) Kurs obshcheĭ lingvistiki [=General Linguistics Course], Yekaterinburg, 432 p. (In Russ.).
9. Bateman, J. A. (2014) Using Multimodal Corpora for Empirical Research, in: Jewitt, Carey (ed.): The Routledge Handbook of Multimodal Analysis. London, pp. 238–252, https://doi.org/10.1080/17405904.2013.813770.
10. Bateman, J., Wilfeuer, J. and Hippala, T. (2017) Multimodality. Foundations, Research and Analysis: A Problem-Oriented Introduction, London, 424 p.
11. DePaulo, B. M., Rosenthal, R. (1979) The structure of nonverbal decoding skills, in: Journal of Personality, 47 (3), pp. 506–517.
12. English Oxford Living Dictionary, available at: https://en.oxforddictionaries.com/definition/modality, accessed 08.01.2019.
13. Garth, T. R. (1919) Work curves, in: Journal of Educational Psychology, 10 (5–6), pp. 277–283, http://dx.doi.org/10.1037/h0071759.
14. Goffman, E. (1964) The neglected situation, in: American anthropologist, 66 (6_PART2), pp. 133–136.
15. Halliday, M. A. K. (1985) Introduction to Functional Grammar, London.
16. Halliday, M. A. K. (1978) Language as Social Semiotic: The Social Interpretation of Language and Meaning, London, 256 p.
17. Iedema, R. (2003) Multimodality, resemioticization: Extending the analysis of discourse as a multisemiotic practice, in: Visual Communication, 2 (1), pp. 29–57.
18. Johnstone, B. (2016) Language theory in contemporary sociolinguistics: Beyond Dell Hymes?, in: N. Coupland (ed.), Sociolinguistics: Theoretical Debates, Cambridge: Cambridge University Press, pp. 417-432, doi:10.1017/CBO9781107449787.020.
19. Kress G. (2010) Multimodality. A Social Semiotic Approach to Contemporary Communication. London: Routledge, 232 p.
20. Kress, G. R., van Leeuwen, T. (2001) Multimodal Discourse: The modes and media of contemporary communication. London: Edward Arnold, 152 p.
21. Kress, G. (2004) Reading images: Multimodality, representation and new media, in: Information Design Journal, Vol. 12, Issue 2, pp. 110–119, doi: https://doi.org/10.1075/idjdd.12.2.03kre.
22. Kress, G., Van Leeuwen, T. (1996) Reading images: The grammar of visual design. London: Routledge, 312 p.
23. Machin, D., Mayr, A. (2012) How to Do Critical Discourse Analysis: A Multimodal Introduction, London: SAGE Publications, 240 p.
24. Machin, D. (2007) Introduction to Multimodal Analysis, London: Hodder Arnold, 224 p.
25. Machin, D. (2013) What is multimodal critical discourse studies?, in: Critical Discourse Studies, 10 (4), pp. 347–355, doi: 10.1080/17405904.2013.813770.
26. Mondada, L. (2016) Challenges of multimodality: Language and the body in social interaction, in: Journal of sociolinguistics, 20 (3), pp. 336–366, dois 10.1111/josl.1_12177.
27. O’Halloran, K. L. (2004) Introduction, in: K. L. O’Halloran (ed.) Multimodal Discourse Analysis: systemic functional perspectives. London: Continuum, pp. 1–7.
28. O’Halloran, K. L. (2011) Multimodal Discourse Analysis, in: K. Hyland and B. Paltridge (eds.) Companion to Discourse. London and New York, pp. 120–137.
29. Roback, A. A. (1922) Intelligence and Intellect, The Journal of Philosophy, Vol. 19, No. 12, pp. 325–330, available at: https://www.jstor.org/stable/2939874, accessed 08.01.2019.
30. Sakr, M. (2018) Multimodal participation frameworks during young children’s collaborative drawing on paper and on the iPad, in: Thinking Skills and Creativity, 29, pp. 1–11, doi: 10.1016/j.tsc.2018.05.004.
31. Schuh, E. (1955) Comparative, Relative, and Normal Value, in: Philosophy and Phenomenological Research, Vol. 16, No. 2, pp. 229–236, available at: http://www.jstor.org/stable/2103776, accessed 08.01.2019.
Опубликована
2019-03-20
Как цитировать
ЗАГИДУЛЛИНА, Марина Викторовна.
Мультимодальность: к вопросу о терминологической определенности.
Знак: проблемное поле медиаобразования, [S.l.], n. 1 (31), p. 181-188, mar. 2019.
ISSN 2949-3641.
Доступно на: <https://journals.csu.ru/index.php/znak/article/view/127>. Дата доступа: 05 feb. 2025
Раздел
ТЕОРИЯ ЖУРНАЛИСТИКИ И ВОПРОСЫ МЕТОДОВ МЕДИАИССЛЕДОВАНИЙ
Ключевые слова
мультимодальность, модальности онтологические, теория коммуникации
Наиболее читаемые статьи этого автора (авторов)
- Марина Викторовна Загидуллина, Андрей Анатольевич Фаустов, АВАТАРЫ «ЛИШНЕГО ЧЕЛОВЕКА» В СОВРЕМЕННОМ ЛИТЕРАТУРНОМ И ГУМАНИТАРНОМ ПРОСТРАНСТВЕ , Челябинский гуманитарий: № 2 (51) (2020): Челябинский гуманитарий
- Марина Викторовна Загидуллина, БРЕНДИРОВАНИЕ В УСЛОВИЯХ МЕДИАТИЗАЦИИ: СОЦИОКУЛЬТУРНЫЕ ФАКТОРЫ , Челябинский гуманитарий: № 3 (48) (2019): Челябинский гуманитарий
- Марина Викторовна Загидуллина, ИММЕРСИВНАЯ ЖУРНАЛИСТИКА СКВОЗЬ ПРИЗМУ РЕМЕДИАЦИИ , Челябинский гуманитарий: № 4 (53) (2020): Челябинский гуманитарий
- Марина Викторовна Загидуллина, О кризисе межпоколенной связи, цифровых разрывах и конструировании новой идентичности (рецензия на коллективную монографию «Межпоколенческая трансляция коммуникативно-культурной памяти в эпоху цифровизации», Екатеринбург, 2021) , Знак: проблемное поле медиаобразования: № 1 (43) (2022): Знак: проблемное поле медиаобразования
