随着社会科学发展，人们对传播媒介的关注已由传统的语言媒介延展至语言、图像、声音、色彩、动作等多种符号表意资源构成的复杂媒介。“多媒介性（multimediality）成为社会文化实践的基本模式，多模态化（multimodality）也相应成为意义构建与互动的普遍特征”^[1]。在此背景下，多模态话语分析于上世纪90年代应运而生，先后涌现了一批代表性学者^[2-8]，逐步建立和完善了多模态分析的各类理论框架与研究方法。至今，多模态理论已拓展至符号学、哲学、社会学、人类学、政治学、新闻学、心理学、法学、美学、医学等领域^[9]。而多模态理论在翻译研究中的应用，极大地丰富了翻译的内涵，拓展了翻译研究的视角，甚至有学者提出了“翻译研究的多模态转向”^[10]。在当下国家要求建设融通中外的对外话语体系背景下，翻译作为对外交往的重要信息载体，加强多模态翻译的应用及相关研究具有重要现实意义，将有助于丰富中国对外话语表达形式，更好地讲好中国故事。

那么何为多模态翻译？当前学界界定不明。本研究认为，可从狭义和广义分别探讨。就前者而言，指实现意义重构的跨模态转换活动，如文字转换成图片、纯文字小说译成图文结合的儿童绘本就属于跨模态转换，而纯英文小说译成纯中文小说则属于语言模态内部转换，类似划分见之于Kaindle^[11]261-262基于模态、媒介和文化维度提出的翻译分类框架；就后者而言，在前者的基础上，还囊括了多模态语境中的翻译教学和翻译实践，多模态语境既可体现在翻译语篇中，也可体现在翻译教学场景或翻译实践场景中。目前多模态翻译已渐成为国外翻译界的热点领域，相关研究成果不断丰富^[12-14]，但其在国内学界的关注仍显不足。希冀勾勒多模态翻译研究在中国的缘起与发展脉络，本研究拟借助Citespace统计工具，以中国知网收录的国内多模态翻译研究成果为考察对象，绘制这一领域的科学知识图谱，以形象直观的方式呈现其论文刊载量、主要作者、发文期刊、研究热点和发展趋势，在梳理研究现状中发现当前研究存在的问题，并提出相关建议。

一.   研究工具与数据来源

一   研究工具

本研究所用分析工具是美国德雷塞尔大学陈超美教授开发的Citespace软件，是一款基于Java语言开发的信息可视化软件。主要通过高频关键词、突现专业术语、文献关键词的共现分析等功能来研究某一学科的研究热点和前沿，在绘制学科发展的知识图谱、可视化分析等方面具有较强的技术和功能优势^[15]，目前已被广泛应用于分析不同学科的研究热点与前沿动态。

根据节点类型，Citespace可呈现四类可视化知识图谱^[16]：第一类是作者、研究单位、国别；第二类是引用文献之间及被引作者之间的关系；第三类是关键词和名词性术语；第四类是研究基金。本研究旨在呈现第一类和第三类的部分可视化知识图谱。

二   数据来源

基于以上多模态翻译的广义界定，任何从多模态探讨翻译理论构建、分析翻译语篇、翻译实践、翻译教学或翻译课程等话题的学术文献都纳入本研究考察范围。由于多模态翻译尚属新兴研究领域，相关成果数量并不丰富，为保证数据的充分性，选择中国知网三个公认度高的学术数据库（即期刊、博士、硕士），设置检索时间范围为截至到2020年12月30日，以“多模态”并含“翻译”“笔译”“英译”或“口译”为主题词进行多次检索，对检索结果进行人工数据清洗，剔除会讯、书评、实践报告等文献类型以及与本研究范畴相关性小的文献，最终获得有效文献258篇。由于检索结果中最早一篇出现在2009年，所以本研究的时间跨度为2009—2020年。本研究将这些文献的题录信息以Refworks格式导出，并通过Citespace V软件对其进行相应的数据类型转换。根据研究目的，本研究在使用Citespace V对数据进行分析时，对相关参数进行设置，如时间窗口Time Slicing设置为2009至2020，时间切片Year per Slice设置为1，节点类型Node Type根据研究目的先后勾选Author和Keyword，并设置相应阈值，在此过程中始终选择寻径网络算法（pathfinder）。

二.   统计结果分析与讨论

一   总体研究趋势

本研究通过统计各年份发文数量，呈现国内多模态翻译研究的总体趋势（见图1）。由图可知，这一研究领域历时较短，发文量总体呈上升趋势，并大致可分三个阶段，即萌芽期（2009—2011）、形成期（2012—2016）和快速发展期（2017—2020）。2009—2011年为肇始阶段，发文量极少，三年内共有4篇。其中，最早一篇可追溯至李妙晴^[17]的“多模态下《阳光灿烂的日子》电影字幕翻译”。2012—2016年间，多模态翻译渐受到学界关注，开始稳步上升，由2012年的9篇上涨至2014年的19篇，并在其后两年间稳定在这一水平。从2017年开始，多模态翻译研究的发文量急速上升，进入了快速发展期，由2016年的19篇上升到了2020年的59篇。当前这一研究领域仍处于上升阶段。

图  1  2009—2020年国内多模态翻译研究发文趋势图

下载: 全尺寸图片 幻灯片

二   研究群体

分析某一研究领域核心作者及发文期刊，有助于了解该领域研究者和发文期刊的群体性特征，为文献搜集和管理提供依据，并向同行提供重要的信息源参考^[18]。

1   主要研究者

由于该研究领域起步晚，研究成果还不丰富，为保证可供分析数据的充分性，特将Threshold阈值调低，即将（c, cc, ccv）参数分别设置为(1, 1, 20)、(1, 1, 20)和(1, 1, 20)，将作者发文阈值设置为2，生成发文量超过（包含）2篇的作者可视化图谱（见图2）。

图  2  多模态翻译研究主要作者知识图谱

下载: 全尺寸图片 幻灯片

本研究从这些作者中进一步整理出发文量超过3篇（含3篇）的作者，他们主要有刘剑、康志峰、龚晓斌、贾佳、黎健、黄燕平、汤素娜等。其中，刘剑发文量最多，达到5篇，发文时间区间为2015—2020年，主要涉及多模态口译语料库的建设与应用^[19]、基于多模态语料库的口译教学模式^[20]等实证研究；康志峰较早涉足这一领域，发文量为4篇，集中于2012—2013年，主要关注译员口译过程中的多模态口译焦虑^[21]以及现代立体式多模态口译教学模式^[22]等内容；黎健也是较早研究者之一，发文量为3篇，发文时间区间为2012—2013年，主要从多模态视角探讨旅游翻译策略^[23]及旅游口译教学^[24]；龚晓斌、贾佳合作发文3篇，发文时间区间为2015—2016年，主要运用多模态话语理论分析题画诗^[25]等外宣文本的翻译；黄燕平和汤素娜为近年来关注该领域较多的学者，各发文3篇，主要基于多模态视角探讨诗歌翻译^[26]、外宣网站语篇翻译^[27]等内容。总体来讲，可能是受科研项目结项要求影响，较多学者只在某一时间段内发表过该领域的研究成果，少有长期耕耘于这一领域并形成丰硕成果的研究者，这充分说明了当前这一领域缺少稳固的人才基础。

2   主要发文期刊

本研究从中国知网中导出原始数据的xls格式文件，选中文件中的source-刊名一列，采用Excel软件的自动筛选功能，统计各期刊的发文数量并整理发文量3篇以上的期刊，得出表1结果。

表  1  主要期刊分布

序号	刊物名	发文数量
1	海外英语	9
2	校园英语	9
3	英语教师	5
4	中国翻译	5
5	上海翻译	4
6	电影文学	3
7	高教学刊	3
8	福建茶叶	3
9	青年文学家	3
10	新闻研究导刊	3
11	英语广场	3

下载: 导出CSV 

| 显示表格

由上表推知，国内期刊刊载这一领域的文献数量普遍较少，现有文献散见于各类期刊，凸显了投稿方向零散，缺乏高度关注这一领域发展的专门性期刊；此外，文献多发表在一般性期刊上，核心期刊较少，这也再次说明多模态翻译研究还未得到学界的广泛关注和认可，影响力有限，论文的数量和质量有待提升。

三   多模态翻译研究热点及发展趋势

以下本研究将从高频次关键词、高中介性关键词以及关键词聚类分析三个方面探究多模态翻译研究的热点领域及其演进路径。同时，提取各年份的突变术语，发现不同时间段内突增的研究兴趣点，进而追踪到该领域的前沿动态及发展趋势。

1   研究热点

（1）关键词共现分析

由于关键词通常是对文献核心内容的高度浓缩和概括，因此，高频关键词的统计和分析可以确定某一学科领域的研究热点和重要主题^[15]。但研究热点一般会随着时间的推移而有所改变，所以分析热点通常要结合一定的时间范围^[16]。本研究以2009—2020年为考察时间范围，采用寻径算法，对单个时间切片和复合时间切片进行裁减，之后设置Threshold阈值为10，即在图谱中呈现出现频次不少于10次的关键词。在对节点色彩、字体大小等方面作出调整后得到图3的关键词共现知识图谱。图中的网络节点（N）数量为693，连线数量（E）为1 499，即关键词有693个，关键词共现关系为1 499组。

图  3  关键词共现知识图谱

下载: 全尺寸图片 幻灯片

节点代表文献的关键词。节点的大小与关键词的出现频次成正比^[28]。单个节点内部包含不同颜色的圆环，表示关键词出现的年份，颜色从蓝色的冷色调到红色的暖色调变化表示某一研究繁荣期所处时期从早期到近期的变化^[29]82。节点之间的连线反映了关键词之间的共现关系；连线越粗，说明他们在一篇文献共现的可能性越大^[16]，而连线的颜色表示的是两个关键词首次共现时所处的时间分区。

图3中，“多模态”“字幕翻译”和“多模态话语分析”三个节点特别凸显，代表目前多模态翻译研究领域最受关注的三个热点。这三个节点圆环由内至外呈冷色向暖色过渡，说明其属于长期研究热点，而节点间的连线以浅色为主，说明近年来越来越多的学者从中切入去研究其它问题。然而，其它节点较小，关键词共现网络结构较松散，密度不高，说明目前该领域其它研究对象还不凸显，研究内容、研究视角、研究方法等都有待拓展，相关研究成果需进一步积累，这进而说明多模态翻译研究仍处上升期，较多研究主题还未被发掘，这一领域的研究需要深化和拓展。

为尽可能呈现当前研究热点的全貌，本研究还考察了数据中关键词的出现频次和中介中心度。中介中心度（Betweenness Centrality）是衡量节点在可视化网络中重要性的一个指标^[30]。中介中心度越高，说明这个关键词同时连接的节点越多，它控制的关键词之间的信息流就越多^[31]。中介中心度大于或等于0.1的关键词往往被视为重要类别。这类关键词的节点在知识图谱中往往以凸显外环标注，被称为“转折点”（Turning Points）。本研究使用Citespace从研究语料中分别提取出现频次前20位的关键词（表2）及中介中心度前20位的关键词（表3），比照两种参数考察其研究热点是否出现偏移，并探究背后动因。

表  2  国内多模态翻译研究TOP20高频次关键词

序号	频次	关键词		序号	频次	关键词
1	117	多模态		11	8	视觉语法
2	69	多模态话语分析		12	8	大学英语
3	61	字幕翻译		13	8	话语分析
4	18	翻译		14	7	多模态翻译
5	16	翻译策略		15	7	多模态语篇
6	15	翻译教学		16	7	口译教学
7	10	视听翻译		17	6	商务英语翻译
8	10	图文关系		18	6	语料库
9	9	多模态话语		19	6	翻译研究
10	9	多模态理论		20	6	符际翻译

下载: 导出CSV 

| 显示表格

表  3  国内多模态翻译研究TOP20中介中心度关键词

序号	中心度	关键词		序号	中心度	关键词
1	0.84	多模态		11	0.07	字幕
2	0.36	多模态话语分析		12	0.06	多模态理论
3	0.32	字幕翻译		13	0.05	翻译教学
4	0.19	翻译策略		14	0.05	视觉语法
5	0.15	翻译		15	0.05	多模态文本
6	0.11	视听翻译		16	0.04	图文关系
7	0.09	商务英语翻译		17	0.04	多模态语篇
8	0.08	多模态话语		18	0.04	口译教学
9	0.07	多模态翻译		19	0.04	翻译研究
10	0.07	语料库		20	0.04	多模态语篇分析

下载: 导出CSV 

| 显示表格

通过数据比照，本研究发现多模态、多模态话语分析和字幕翻译三个关键词的出现频次和中介中心度均较高，这代表该研究领域的重要转折点。翻译、翻译策略和视听翻译的两个参数相比前三者有较大差距，但仍具较大潜力，可视为次要转折点。而其它关键词出现频次和中介中心度都较低，说明在整个可视化网络中还未形成较大影响力。概言之，两表的参数结果与Citespace生成的多模态翻译知识图谱结果基本一致，且两表中关键词的排序也未出现明显偏移，这与多模态翻译研究起步时间较晚、研究成果较少、研究内容较单一有密切关系。

（2）关键词聚类分析

关键词基于不同的亲疏程度可形成不同的聚类，识别这些聚类可以廓清研究的各个热点子域^[32]。为挖掘各研究子域，本研究在关键词共现网络的基础上采用LLR(Labels by Log-likelihood Ratio)算法，生成关键词聚类图谱（见图4）。聚类分析主要考察两个指标，即聚类模块度(Modularity Q)和平均轮廓值(Silhouette)。一般而言，Q值在[0,1]区间内，Q>0.3就意味着划分出来的社团结构是显著的，当S值在0.7以上，聚类是高效率令人信服的，若在0.5以上，聚类一般认为是合理的^[33]。图4中，Q值为0.8051，S值为0.951，说明本聚类图结构合理，具有很强信服力。图中显示了16个聚类，分别是多模态、字幕翻译、电影字幕翻译、翻译、翻译策略、符际翻译、建构主义、模态、多模态理论、文本类型、多模态教学、语音拖长、展望、眼动指标、大学英语教学等。其中，多模态、字幕翻译、翻译、翻译策略、符际翻译、多模态理论、多模态教学等标签与上文共现网络中的关键词重合，再次说明该领域研究主题的单一性及这些子域自身的概括性。在这些标签中，除了翻译作为范畴词外，其它标签均可视为独立的研究子域。此外，标签中可发现一些独特的研究点，如建构主义、文本类型、口译、语音拖长、展望、眼动指标、大学英语教学、《于丹<论语>心得》等。“多模态”与“建构主义”在聚类图谱空间中的临近性说明二者具有较强的共现关系，通过文献梳理，发现部分学者从建构主义理论探讨多模态翻译教学，如陈卫红^[34]在建构主义理论指导下，讨论网络多媒体技术在口译课中的运用，并探讨了口译课的多模态教学创新模式；韦健^[35]将多模态教学理论与建构主义的支架式教学理论综合运用于大学英语翻译教学，发现其有助于提高以翻译能力为最终体现的学生综合语言应用能力、文本理解能力及跨文化素养。Citespace生成的各个聚类中，聚类包含的成员越多，则其编号越小^[32]。像“语音拖长”、“眼动指标”、“展望”这种聚类编号较大，代表聚类下的研究数量较少，且图块以暖色为主调，表明是该领域近年研究成果。如刘剑、陈水平^[36]基于多模态口译语料库考察英汉同传中的语音拖长现象；王建华、李静^[37]梳理了国外近二十余年视听多模态文本眼动研究，总结了研究中常见的眼动指标及研究主题。“展望”主要体现为学者^{[10, 38]}对多模态翻译研究的回顾及对未来研究趋势的展望，但以定性分析为主，难窥研究领域全貌。

图  4  国内多模态翻译研究关键词聚类

下载: 全尺寸图片 幻灯片

2   研究发展趋势

“突变检测计算”能揭示学科在特定时间区间内研究兴趣的突增情况，而计算结果中的突现词（Burst Term）代表着该领域的研究热点和前沿。借助Citespace的burstness功能，得到多模态翻译研究领域近些年具有高突现值的关键词（见图5）。图中的11个突现词按开始年份排序，深色块代表当年度该词突变强度较高，从上至下的排列顺序呈现了该领域研究热点的历时变化。

图  5  国内多模态翻译研究突现词列表

下载: 全尺寸图片 幻灯片

在图5的基础上进行文献内容梳理，本研究发现“多模态”和“《乱世佳人》”两个关键词都出现在2011年，这说明该领域最初的研究者多关注案例的多模态特征，特别是以《乱世佳人》为代表的影视作品，探讨其字幕翻译，这与该领域的首篇论文研究主题类似。“话语分析”“教学”及“口译”是2012年的研究前沿突发话题，这表明当时的研究开始采用多模态话语分析理论分析案例。此外，研究者也开始关注到翻译教学及口译实践的多模态特征，关注多模态与教学效果和口译质量的互动关系，并对该领域的后续研究产生了持续影响，使“教学模式”“翻译（口译）研究”及“大学英语（翻译教学）”成为之后数年的研究热点。“多模态翻译”和“视觉语法”代表着该领域最新的研究转向，这表明多模态翻译作为一个整体概念和术语，已渐被学者认可和接受，Kress和van Leeuwen的视觉语法作为图像分析的有力工具正被中国学者越来越多地应用于分析翻译实践文本的视觉模态，探索实现多模态资源的有效整合。

四   多模态翻译研究的困境与建议

基于以上科学知识图谱的定量分析，并结合定性的文献内容梳理，本研究发现该研究领域当前存在较多问题。如何突破现有学术困境，推动学科领域发展，需要我们针对问题思考对策，以下我们将就此展开探讨。

从宏观上讲，多模态翻译研究当前在国内学界并未得到充分关注，影响力有限。尽管当前该领域取得了一定进展，发文数量不断攀升，但相比热点领域来说仍较为冷门，发文数量仍相对较少，发文期刊档次普遍不高，缺少长期聚焦这一研究领域发展的学术性期刊和引领性学者。

从理论上讲，核心概念界定不明，“多模态”常被滥用、误用。部分文献仅在题目或摘要中套用“多模态”字眼，但实际内容并未涉及多模态翻译研究，部分研究对“模态”和“多模态”的概念也未作出准确界定，对于多模态的本质、特征及应用缺乏清晰认识，且部分作者常将多模态、多媒介、多媒体等概念混淆。

从应用上讲，重复性研究较多，研究内容、研究视角较单一，缺乏创新性研究发现和理论贡献。研究多采用多模态话语分析理论分析影视字幕的文本翻译，主要停留在讨论多模态环境下的语言翻译，少有讨论影视画面中不同模态的转译问题，所得结论往往大同小异，研究不成体系。此外，少有研究从多模态视角探讨戏剧、歌剧等舞台表演形式以及漫画、儿童绘本、网站翻译、网络游戏、科技文本等应用文类的翻译问题。

从研究方法上讲，以定性分析、个案研究为主，定量定性相结合的研究及实证性研究缺乏。例如，字幕翻译类研究多以某部影视作品为例，探讨某些字幕例句的翻译策略与方法，对字幕文本语类的多模态译介情况和影视作品内部多模态资源分布情况缺乏整体关照。口笔译实践及翻译教学类研究多停留在讨论活动本身的多模态特征及开展多模态教学的意义与方法，相关实证研究、对比研究较少，也少有从读者群体了解多模态翻译与教学的接受情况。

面对以上种种问题，国内学界要建构起系统、全面、科学的多模态翻译研究体系仍任重道远，需从多方面努力。

首先，加强多模态翻译研究的理论建设，系统性梳理该领域的术语概念、理论体系、架构特征等。对该领域涉及的基本概念、术语要作出准确界定，以免误用，对其研究范畴、研究方法和应用领域作出科学阐释，并形成系统、成熟的理论性专著，为多模态翻译领域研究人员提供理论指导和方法论支撑。

其次，加强学科间的合作与对话，建立多模态翻译研究的跨学科理论体系。翻译不仅仅是语言文字的转换活动，更是各种符号资源参与意义构建的认知活动，也是跨民族、跨文化、跨语言的多模态信息传播行为，这就决定了这一领域的跨学科性，需要翻译学、语言学、社会符号学、传播学等学科学者通力合作，构筑成这一领域牢固的人才基础，共同推动学科发展。

再者，鼓励开展实证性、对比性、应用性研究，提升论证科学性与实际应用价值。现有研究多为文本分析和理论思辨，着眼于个例，分析过程较为主观，缺少实证数据支撑，所得结论适用范围有限。在翻译实践和翻译教学中引入实证性、对比性研究方法，能更好地观察多模态资源配置方式对翻译质量和翻译教学质量产生的影响，从而全面客观地认识翻译实践与教学的内在规律。此外，多模态口译语料库建设和网络游戏、外宣网站、儿童绘本、科技文本等应用翻译领域的多模态研究有助于翻译实践及教学工作的开展，促进中外信息交流。

此外，促进中外学术交流，借用外力建立本土学科话语体系。当前国外多模态翻译研究领域已日趋成熟，而国内研究往往多简单套用国外相关理论框架，或者仿照国外研究设计开展类似研究，鲜有对理论本身或研究设计的批判性思考与创新。因此，国内研究者在充分借鉴吸收国外理论和研究方法的基础上，需要不断开拓思路，创新理论与研究方法，建立本土的理论分析框架与学科话语体系，并在实践中不断检验与发展。

最后，加强多模态翻译的产学研一体化，服务中国对外话语体系建设。国际交往中，中国的对外话语不仅通过语言来实现，更需以多模态符号资源来实现信息的有效传达。在国际舆论形势日趋复杂的背景下，通过提升学者和译者们对多模态语篇的识读与生产能力，一方面能更好地解读国际上的各种话语，另一方面也能丰富中国的对外话语表达形式，为促进中外交流的和谐发展作出努力。

三.   结语

本研究采用可视化研究方法，绘制了国内多模态翻译研究领域的科学知识图谱，考察了该领域的总体研究趋势、发文作者群体和期刊群体，了解了历时语境中的研究热点变化和未来走向，在对文献进行定量和定性分析的基础上梳理了该领域研究的现状与主要问题，并由此提出相关建议，希望能引起学界对多模态翻译领域的关注，加强多模态翻译的理论建设与应用研究，促进翻译学科的发展；同时，呼吁提升广大译者的多模态识读与应用能力，为服务对外讲好故中国故事、传播中国声音作出有益尝试。