学术观点 | 雷 茜 超学科视域下的多模态话语创新研究模式探索

摘要

多模态研究是人文社会科学、自然科学和工程技术等科学领域的共同课题。本文在回顾现有多模态话语研究的基础上，概括出语言学理论内驱式、范式融合式、跨学科式、跨科学领域融合式多模态话语创新发展模式；并在探讨多模态研究超学科性的基础上，提出超学科多模态话语创新研究模式，整合了现有发展模式，厘清了多模态研究相关学科间的关系。最后，以多模态文体学分析理论的建构过程为例，展示了超学科视域下多模态话语创新研究模式以问题为出发点、以协同整合为核心和受语境化制约的基本路径。

01

引言

多模态研究是人文社会科学、自然科学和工程技术等科学领域的共同课题。其中，人文社会科学的多模态话语研究最为成熟，已形成系统的社会符号学、认知和社会互动等研究范式，也催生了一批新兴的多模态研究相关学科。学者们对多模态话语研究的综述研究（冯德正、张德禄、O’Halloran 2014；程瑞兰、张德 禄 2016；黄立鹤、张德禄 2019）全面回顾了多模态话语研究的主要领域和研究成果，准确描绘了多模态研究的范式和方法。本文在回顾现有多模态话语研究的基础上，探索超学科视域下的多模态话语研究创新发展模式。

02

多模态话语

研究

人文社会科学领域的多模态话语研究有社会符号学、认知和社会互动三个主要范式。社会符号学范式的多模态话语研究旨在揭示模态符号在语篇意义建构中的作用,有以下三个主要领域：一是基于系统功能语言学的模态语法研究(Kress & van Leeuwen 1996；Kress & van Leeuwen 2002；van Leeuwen 2005，2006，2011 )、模态间关系 探索（Royce 1998，2002，2007）和多模态话语分析综合理论框架构建（张德禄 2009a）。二是以转录、标注、数据搜索和定量分析为核心的多模态语料库研发（Baldry & Thibault 2006；O’ Halloran et al. 2012)。三是多模态话语分析理论在外语教学（张德禄 2009b，2015）、语言习得 （丁肇芬、张德禄 2018）和翻译研究（Baker 2018；Oittinen et al. 2018）等领域的应用研究。认知范式的多模态话语研究以揭示人类对模态信息的认知规律为出发点，也有三个主要研究领域：一是以感官为基点的多模态即席话语语料库开发研究（Gu 2006；黄立鹤 2015）。二是基于心理实验的多模态认知研究（Boerris & Holsanova 2012；Bucher & Niemann 2012）和基于认知语言学理论的广告语篇和多模态文学语篇认知机制研究（Forceville 1996，2009；Gibbons 2011）。三是基于认知神经科学的多模态话语研究成果的应用研究,如老年语言蚀失研究（黄立鹤等 2019）和儿童自闭症研究（何旭良、杨峰 2018）。社会互动范式的多模态话语研究以中介话语分析理论（Scollon 1998，2001；Norris 2002，2004）为基础，对交际活动中的模态(mode)、模态密度(modal density)、模态结构配置（modal configuration）和媒介（medium）等因素进行系统研究。

尽管多模态研究如火如荼，仍存在以下问题。第一，“模态”和“多模态”概念易混淆。导致这一现象的根本原因是多模态研究是人文社会科学、自然科学和工程技术等科学领域的共同课题。在不同科学领域，“模态”的概念不同。例如，在数学领域，“模态”是优化问题中函数的峰值，“多模态”指函数有多个峰值。在计算信息工程领域，“ 模态”是一种信息呈现方式（Bernsen 2008：7），“多模态”指计算机呈现信息的方式是多渠道和多形式。在医学影像领域，“模态”指具体的成像技术，“多模态”指采用多种成像技术。同时，人文社会科学内部的“模态”概念也有不同所指。社会符号学研究范式的“模态”是表达意义的社会符号资源（Kress 2010：79）；认知范式认为“模态”是人类通过感官系统与外部环境的互动方式（黄立鹤、张德禄 2019）；社会互动范式将“模态” 看作社会活动的交际方式（Norris 2002：12）。第二，多模态研究相关学科关系复杂。自然科学、工程技术、医学等领域的多模态研究都只是具体的研究方法，并没有形成独立的学科。人文社会科学领域的多模态研究已经凝聚了大批研究者，形成了共同的思维方式（认同人类交际的多模态本质）和认识论（认为意义是由多种模态构成、传递和识解的），形成了社会符号、认知和社会互动等研究范式，也开辟了多模态话语分析、多模态语料库、多模态教学等众多研究领域；此外，多模态话语分析理论与临近学科的结合还催生了多模态文体学、多模态修辞学、多模态语用学等新兴学科。综上所述，准确定义“多模态”概念，挖掘多模态创新发展模式，厘清多模态研究相关学科间关系，并指导下一步多模态研究的创新发展成为当务之急。

03

多模态话语研究创新发展

模式

现有的多模态话语研究呈现出以下四种创新发展模式。

3. 1 语言学理论内驱式

模态语法的建构是社会符号学范式多模态话语研究的重中之重。语言、图像、字体、布局、色彩、手势等是多模态话语分析中的常见模态。其中，语言是所有模态符号中意义生成原理和语法体系最健全的。于是，系统功能语法的概念功能、人际功能和语篇功能及其相应的语法系统成为其他符号语法发展的内生动力。例如，现有图像语法（Kress & van Leeuwen 1996）、字体语法（van Leeuwen 2005，2006）和 色彩语法（Kress & van Leeuwen 2002；van Leeuwen 2011）的建构就是对系统功能语法的效仿；多模态话语分析理论框架（张德禄 2009a）也是对包含文化语境、情景语境、话语意义、形式及关系和媒体五个基本层次的系统功能语言学理论框架的扩充。其次，社会符号学视角的多模态语料库的开发研究（Baldry & Thibault 2006；O’Halloran et al. 2012）也

借鉴了语料库语言学的研究成果。因此，语言学理论内驱式发展模式（如图 1 所示）是社会符号学范式的多模态话语分析理论创新发展的基础模式。

3. 2 范式间融合式

多模态话语分析的以上三种研究范式间也有融合发展的趋势（如图 2 所示）。社会符号学、认知和社会互动范式的多模态话语分析有不同的出发点，三者关注的研究对象不同，采用的研究方法也不同，因此，只要打破壁垒，任何两个范式间的互补融合都能为多模态话语分析带来创新和发展。例如，基于系统功能语言学的社会符号学视角和基于认知语言学概念隐喻视角的多模态话语分析在语言学基础层面、语言哲学层面、语境层面、主体理论构建层面的连接和互补能有力促进多模态话语分析理论的发展（张德禄、郭恩华 2013）；社会互动视角的多模态研究与系统功能语言学的理论框架同样认可社会文化语境和情景语境对交际的制约作用，二者的成功融合完善了当前的多模态互动分析理论（王正、张德禄 2016）。

3. 3 跨学科式

多模态话语分析理论与相邻学科接触后，成功融入其理论框架，构成跨学科新兴分支，扩展和深化了两个相关学科的研究范围。例如，多模态话语分析理论与文体学联姻产生了多模态文体学（Norgaard 2011），与修辞学结合产生了多模态修辞学（张德禄 2017；黄立鹤 2018），与语用学理论契合产生了多模态语用学（黄立鹤 2019）。由于两个相关学科内部的研究范式和研究领域本身的丰富性，跨学科研究将不同视角的多模态研究成果兼收并蓄，生命力极其旺盛。以多模态文体学为例，它既利用现有的图像、字体、色彩语法理论，分析多模态文学语篇中语言模态和非语言模态带来的文体特征（雷茜 2015），也利用多模态隐喻和转喻理论等研究多模态语篇的认知机制（赵秀凤、苏会艳 2010），还把多模态文体特征与多模态隐喻理论结合，研究读者对文学作品人物和主题的认知（雷茜 2017）。因此，跨学科式是目前最活跃的多模态话语创新发展模式（如图 3 所示）。

3. 4 跨科学领域融合式

多模态研究既是人文社会科学领域的研究话题，也是自然科学、工程技术、医学等科学领域的研究话题（如图 4 所示）。因此，多模态话语分析研究可以与自然科学、工程技术和医学领域的多模态研究成果通过互相借鉴，为各自问题的解决服务。同济大学语言学与多模态符号学研究所开展的特殊人群多模态话语研究（黄立鹤等 2019）和何旭良（2019）利用多模态研究帮助自闭症儿童康复治疗都是人文社会科学领域的多模态话语分析理论与医学跨科学领域融合发展的产物。

04

超学科研

瑞士心理学家 Piaget 在 1970 年召开的教育主题大会上，首次引入“超学科”（transdisciplinarity）概念。Jantsh 对超学科概念进行了详细解释，他认为超学科是“以普遍公理和新兴的认识论范式为基础，在教育或创新系统中对所有学科和交叉学科进行的协调，这样的协调是一种研究、创新和教育间多层次的系统合作”（1972：106）。理论物理学家Nicolescu （2002，2007）提出的“中间状态”（the included middle）为超学科研究提供了坚实的哲学基础，同一时期出现的“二号生产模式”理论（Gibbons et al. 1994；Nowotny et al. 2001认为超学科性是人类知识生产的本质特征，对未来的科学研究有指导作用。Giri（2002）从学科间性出发，建议重新思考学科定位和开放学科界限，呼吁发展创造性超学科研究。蒋逸民（2009）对超学科研究的系统引介对国内学者了解超学科概念发挥了重要作用。胡壮麟（2012）探讨了外语教育的超学科性问题；李颖（2013）建议采用超学科理念指导高校全英文授课，培养学生中西兼备的认知能力和思辨能力。胡壮麟（2013）介绍了系统功能语言学家 Halliday，Hasan 和 Martin 在有关语言教育论著中的超学科思想；李颖、冯志伟（2015）阐述了计算语言学的超学科特征和超学科研究方法；史兴松（2016）将社会、文化和语言学理论进行超学科整合，系统介绍了二语社会化理论，对我国外语人才培养模式探索和语言学研究视角的拓展都有指导意义。谢柯、邱进（2018）则首次探讨了翻译的超学科性问题。

超学科作为一种学科发展的趋向和路径，有后现代哲学基础。20 世纪 70 年代兴起的后现代哲学思潮反对经典逻辑还原论，秉持“1+1≧2”的整体论，倡导以“去中心、超基础、多元化”的态度面对现实世界的复杂问题。超学科倡导协同作用和整体效应，不仅仅是对各个学科信息进行简单的叠加或混合，也不仅仅是各个部分的总和，而是不同学科范式的整合效应，目标在于为真实世界的各种复杂问题提供新视野和创造性解决方案。Stein（2007：91）也认为超学科研究受现实世界问题驱动，有两个本质特征：一是认知和协作的复杂性和层级性，二是跨学科可行性认识论。Nicolescu（2007：82）提出超学科研究的基本公理是现实存在的层级性、中间状态逻辑的使用和复杂性。蒋逸民（2009：14）把超学科研究的特征归纳为以下五点：1）超学科处理生活世界的复杂性和异质性问题，挑战科学知识的支离破碎，具有杂交性、非线性和反思性；2）超学科强调不确定性和应用的语境，重视语境限定的知识沟通；3）超学科强调相互沟通的行动，要求科学知识与社会实践在各个研究阶段的密切结合和持续合作；4）超学科是行动导向的研究。超学科研究不仅要整合不同学科，而且要整合理论发展和专业实践，生产出解释社会问题和解决社会问题的知识；5）超学科需要松散和开放的组织架构来保障，超学科知识生产有松散的管理模式、扁平的科层制和开放的指挥链。综上所述，超学科研究的本质特征包括问题导向性、层级性、复杂性、协同性和语境制约性。

05

多模态研究的超学

科性

多模态研究以解决现实问题为出发点。复杂的现实问题既是多模态话语研究的出发点，也是落脚点。以外语教学为例，教师课堂话语多模态分析是外语教学研究的一个切入点。从社会符号学和社会互动的视角出发，教师课堂多模态话语分析通过研究哪个环节使用哪种模态、如何协同使用模态等问题了解课堂话语的模态使用规律，通过寻求最佳模态搭配规律为外语教师课堂话语组织提供参考，最终为外语教学问题的探索做出贡献。层级性是多模态话语研究的重要特征。多模态研究既是人文社会科学领域的研究话题，也是自然科学、工程技术和数学等科学领域的研究话题。人文社会科学领域的多模态研究有社会符号学、认知和社会互动等主要研究范式。在每个研究范式内部，还存在不同的研究领域。例如，社会符号学范式的多模态话语研究就包括多模态理论探索、多模态语料库研发和多模态研究应用等领域。认知范式的多模态话语研究包括多模态即时语料库研发、多模态语篇认知机制研究和基于认知神经科学的多模态应用研究等。此外，多模态话语分析理论在相邻学科中的应用还催生了多模态文体学、多模态修辞学和多模态语用学等新生学科。所以说，目前的多模态研究已形成了一个至少包含科学领域、研究范式、研究领域和相关学科的多层级学科架构。

复杂性是多模态研究的另一个重要特征。多模态研究的复杂性包括问题复杂性和模态异质性。以语言教学问题为例，因为它存在层级性和多维度性，因年龄不同，就有不同阶段的语言教学；因参与者不同，有教、学、管、督等教学维度。任何一个层级或者维度的研究都需要考虑其他因素的影响。此外，与单纯的语言研究相比，多模态研究还存在模态异质性问题。以社会符号学视角的多模态研究为例，语言、图像、声音等模态的性质不同，意义生成系统存在差异，语篇意义的整合就有难度。再如，同样是多模态语料库研究，社会符号学视角的多模态语料库研究和认知视角的多模态语料库研究标注体系不同，也存在异质性问题，需要加以区分利用。

多模态研究的本质特征是协同整合。这里的协同主要指不同层级多模态研究间的协同整合。以问题为导向的多模态研究以消解中心和平等互利为前提，也就是说，研究范式、研究领域、研究方法和具体的模态间没有优劣之分，参与者角色的重要性取决于解决问题的需要。当面对复杂的多模态研究问题和层级式的多模态学科构架时，以何种方式协同整合就成为多模态研究创新发展的关键，因此，挖掘多模态研究的协同整合方式和研究路径就显得尤为重要。

语境是多模态研究的制约性因素。多模态研究学科架构的多层性决定了多模态研究语境的多层性。作为人文社会科学、自然科学和工程技术科学等领域的共同话题,科学分类构成多模态研究的第一个语境层。其次，社会符号学、认知、社会互动等多个研究范式是多模态话语研究的第二层语境。研究范式内部的具体研究领域是多模态话语分析的第三层语境。最后，每一个多模态语篇的意义都是具体情景语境的产物，情景语境从语域、语旨和语场三个维度直接制约多模态话语的意义建构（Halliday 1989）。多模态研究的多层语境能将现有多模态研究准确定位。研究者不仅能够明确自身研究的定位是什么，还能清楚地判断自身研究受哪些因素制约，并从自身需求出发寻求相关研究领域、相关范式和相关学科间的合作。因此，语境的制约因素对多模态话语研究的创新发展至关重要。

06

超学科视域下的多模态话语创新研究模式

鉴于多模态研究的问题导向性、层级性、复杂

性、协同性和语境制约性，超学科发展模式（如图 5

所示）才是多模态研究的最优模式。

超学科多模态研究创新发展模式是一个以研究问题为出发点建构超学科知识结构的过程。这个知识的建构过程需要对不同科学领域、不同研究范式、不同具体研究领域和相关学科的多模态研究有全面的了解，还要对多模态研究不同层级以及不同层级之间的已有创新发展模式了如指掌。它是根据问题需要对科学领域、相关学科、研究范式和具体研究领域进行组合，并根据这个学科组合对知识系统化，厘清它们各自在这个超学科知识架构中的地位和作用的过程。

协同整合是超学科多模态创新发展模式的核心。多模态研究的多层次性决定了协同方式的复杂性。语言学理论内驱式、范式间融合式、跨学科式和跨科学领域融合式创新发展模式是多模态话语研究具体的协同整合方式，体现出多模态话语创新研究自内向外和自下而上的层级特征。超学科协同整合以研究问题为导向，灵活运用以上四种模式，打破科学领域、研究范式、具体研究领域的层级进行平等的互补和协调，在最优化原则指导下最终形成解决问题需要的超学科知识结构。因此，超学科视域下多模态话语研究相关知识的协同整合需要来自不同科学领域、不同学科、采用不同研究范式和从事不同具体领域研究的学者临时性和松散型合作，以确保通过协调达到知识结构的最优化。

语境化程度制约模式的创新性。在超学科视域下的多模态研究中，不同学科知识的组合离不开语境。张德禄、吴连春（2021）认为“在超学科知识建构中，知识的语境化是一个复杂的过程，不仅涉及相关学科知识的语境化，也涉及不同学科知识在不同阶段的语境化”。由于相关学科的知识在解决问题的过程中由语义引力低的知识转化为语义引力高的知识，最终形成一个问题指向性的系统知识构架，因此，这种语境化的程度能动地制约着超学科发展模式的创新程度。黄立 鹤等（2019）对阿尔茨海默病言语障碍表现及相关神经心理学量表编制问题的探索完成了医学与人文社会科学的融合，实现了医学研究领域认知神经科学研究范式与社会符号学视角的多模态话语分析研究范式的融合，编制出了阿尔茨海默病言语障碍的多模态表现及相关神经心理学量表，由于本研究不仅知识语境化层次多，而且结合程度深，因此其创新性也显而易见。

07

超学科视域下的多模态文体学理论跨学科

建构

多模态文体学是多模态话语分析理论与文体学理论结合的产物。从超学科视域看，多模态文体学理论框架的建构的过程是人文社会科学内部两个相关学科跨学科协同发展的结果（如图 6 所示）。

首先，多模态文体分析理论框架的建构是多模态文学作品意义建构的需要。伴随着媒体技术的发展和非语言模态参与意义建构现象的出现，现有的文体学理论和方法已无法解释语言符号以外的模态符号参与语篇意义生成的现象。社会符号学视角的多模态话语分析研究成果丰硕，为新媒体语篇的文体研究做好了铺垫。因此，以功能文体学理论为框架，通过增加字体、布局、图像、色彩、声音等模态和增加模态间关系分析，把社会符号学视角多模态话语分析理论的相关知识与文体学知识结合，形成了多模态文体分析理论框架，可以为多模态文学语篇和非文学语篇的文体分析提供纲领性指导。

其次，多模态文体学理论框架建构的核心是跨学科协同。从多模态文体分析综合论框架可以看出，多模态文体学采用了功能文体学的理论框架。多模态语篇的文体分析严格遵守功能文体分析的三个步骤。第一步是寻找语篇中突出的词汇语法特征。第二步是将这些突出特征放置在相应的情景语境和文化语境中，探讨其在实现作品概念意义、人际意义和语篇意义方面的贡献。第三步是确定这些突出特征是否得到前景化，为语篇的意义表达做出哪些贡献。在以上文体分析步骤中，各种模态语法是分析者确定模态特征是否为突出模态特征的理论工具，参与了多模态文体分析的第一步。从多模态研究的角度讲，这是社会符号学视角的多模态话语分析理论的跨学科应用，这种跨学科应用是自身理论的检验和发展。从文体学的角度讲，对多模态话语分析理论的借鉴拓展了自身的研究范围，为学科发展注入了新的活力。

语境化程度决定多模态文体研究的创新性和文体分析的深度。多模态话语分析理论和文体学理论是人文社会科学领域内部的两个学科，因此多模态文体学理论是学科语境和作品语境制约的产物。从学科知识语境化的角度看，符号学视角的多模态话语分析理论知识与文体学理论知识的跨学科语境化孕育了多模态文体学这一新生学科，创新性明显。从作品知识语境化的角度看，因为突出的模态特征只有与情景语境一致才是语篇的前景化特征，而且多模态语篇的文体分析不仅考虑语篇的情景语境，还考虑前景化特征背后的意识形态和价值观，其对作品知识的语境化程度就高，因此，利用多模态文体学理论对作品意义的解读自然更加深入和细致。因此，多模态文体学理论建构的过程就是超学科视域下多模态话语分析理论和文体学理论跨学科创新的过程，体现了以问题为出发点，以协同整合为核心和受语境化制约的基本路径。

08

结语

作为多个科学领域的共同话题,多模态研究的众多范式并存、众多路径发展的自身特点体现了其明显的超学科特征。本文在概括现有多模态话语研究语言学理论内驱式、范式融合式、跨学科式、跨科学领域融合式的基础上，提出超学科式多模态研究创新发展模式，并以多模态文体学的发展为例，展示了其理论建构背后的超学科创新发展路径。值得注意的是，本文的研究主要集中在人文社会科学领域的多模态话语分析方面，但是超学科创新研究模式适用于各种科学领域间的协同创新发展。人文社会科学领域的多模态话语分析理论与自然科学和工程技术等领域多模态研究成果的超学科协同发展也是未来发展的必然趋势。希望在以后的研究中，多模态话语的超学科创新研究模式不仅能够指导多模态话语研究的创新，亦能够推动人文社会科学和其他科学的协同发展。

免责声明：原文载于《外语教学》2023，44（01），版权归作者所有，如有侵权，请及时联系删章。

转自： 外语教师研究与专业发展

往期学术观点

【特别声明】本公众平台除特别注明原创或授权转载外，其他文章均为转载，版权归原作者或平台所有，出于传递信息之目的，并没有任何商业目的。本公号尊重知识产权，如无意中侵犯了您的权益，请及时联系后台，本公号将及时删除。