留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

多模态视角下儿童绘本生态意义的社会符号建构

于晖 宋金戈

于晖, 宋金戈. 多模态视角下儿童绘本生态意义的社会符号建构[J]. 北京科技大学学报(社会科学版), 2022, 38(6): 667-676. doi: 10.19979/j.cnki.issn10082689.2022100067
引用本文: 于晖, 宋金戈. 多模态视角下儿童绘本生态意义的社会符号建构[J]. 北京科技大学学报(社会科学版), 2022, 38(6): 667-676. doi: 10.19979/j.cnki.issn10082689.2022100067
YU Hui, SONG Jin-ge. A Multimodal Approach to the Social Semiotic Construction of Ecological Meanings in Children’s Picture Book[J]. Journal of University of Science and Technology Beijing ( Social Sciences Edition), 2022, 38(6): 667-676. doi: 10.19979/j.cnki.issn10082689.2022100067
Citation: YU Hui, SONG Jin-ge. A Multimodal Approach to the Social Semiotic Construction of Ecological Meanings in Children’s Picture Book[J]. Journal of University of Science and Technology Beijing ( Social Sciences Edition), 2022, 38(6): 667-676. doi: 10.19979/j.cnki.issn10082689.2022100067

多模态视角下儿童绘本生态意义的社会符号建构

doi: 10.19979/j.cnki.issn10082689.2022100067
基金项目: 2016年度教育部人文社会科学研究规划基金项目“基于语篇体裁类型的教育语篇知识结构研究”(编号:16YJA740044);2022年北京师范大学外国语言文学学院课程思政项目(编号:KCSZ2022007)
详细信息
    作者简介:

    于晖(1974—),女,河南洛阳人,北京师范大学外国语言文学学院教授,博士生导师

    宋金戈(1996—),男,河北承德人,北京师范大学外国语言文学学院博士研究生

  • 中图分类号: H0-05; J205

A Multimodal Approach to the Social Semiotic Construction of Ecological Meanings in Children’s Picture Book

  • 摘要: 绘本作为儿童教育的主要语篇体裁,在家庭和学校教育中占据至关重要的地位。目前,少有研究关注儿童绘本所蕴含的生态价值取向,而这对儿童环保意识和生态素养的培养不容忽视。鉴于此,文章基于社会符号学理论,对儿童绘本《你好!大自然》进行多模态生态话语分析,并探讨图文互补生态叙事策略,旨在为儿童绘本的生态评估提供思路,并为其编写提供策略。研究发现该儿童绘本中文字与图像协同建构语篇生态意义和观念,整体呈现有益性生态表征。儿童绘本的生态叙事策略包括个性化参与者角色、叙事视角同时空视点交叉转换和强化静态视觉信息呈现等。

     

  • 儿童教育是提升人口素质的重要环节,而绘本即多模态语篇已经成为儿童教育的主要语篇体裁,对儿童价值观念的塑造起着越来越重要的作用。近年来,随着生态环境问题的日益突出,对于儿童生态观念的塑造要求也显著提升。目前,语言学领域已有众多学者对儿童绘本进行了多视角研究[1-6],但却少有研究涉足绘本的生态性分析,即生态语言学Halliday范式下衍生的生态话语分析模式[7]。该模式下的生态话语分析通过揭示语篇的生态属性,以唤醒人们的生态意识,是生态评估的重要手段,对生态教育具有重要参考价值。但是,当下的生态话语分析研究多聚焦媒体话语[8-9]、文学话语[10-11]、企业环保话语[12-13]和可持续发展话语[14-15]等体裁和文字语篇,对教育话语[16]和多模态语篇[17]的关注稍显不足,对儿童绘本的研究更是鲜见。

    多模态语篇分析理论发源于Halliday社会符号思想,社会符号学理论强调从社会和文化的视角诠释语言的性质和意义,认为语言、声音和图像等都属于一种社会符号,具有系统和功能性特征[18]。儿童绘本作为主要由文字和图像组成的多模态语篇,其生态意义主要由语言和图像系统协同建构。鉴于此,本研究以Halliday系统功能语法及物性系统和Kress & van Leeuwen视觉图像语法再现意义系统为基础,采取量化与质性分析相结合的研究方法,对儿童绘本《你好!大自然》[19]进行多模态生态话语分析,旨在探究生态意义建构的图文互补机制,并为儿童绘本的生态评估和编写策略提供参考。

    系统功能语言学[20]主张以社会学和人类学视角研究语言和诠释意义,Halliday所创建的社会符号学延续了这种思想,视“言语”即实际中的语言交际为研究重点,主张意义生成于交际过程,其解读不可脱离实际语境。社会符号学理论[18]强调社会意义的建构是各种符号系统协同和互补的结果。语言、声音和图像等模态都是社会意义资源的一部分,属于不同的符号系统,具有相对独立的意义潜势。

    O’Toole[21]、Lemke[22]、Kress & van Leeuwen[23-25]和Ngo et al. [26]等学者基于社会符号学思想和系统功能语言学的理论原则,拓展语言系统研究,探究符号系统间共通的社会意义建构模式,发展多模态话语分析理论,并将之应用于多体裁分析。因此,多模态话语分析理论也通常被称为“系统功能多模态话语分析”[27]或“系统功能符号学”[28]。在多模态话语研究领域,Kress和van Leeuwen的理论体系影响最为深远[29]。Kress和van Leeuwen[25]41融合Whorf[30]关于意义和文化关系的观点,主张多种模态间的互动和交流促进社会活动和人际互动,而意义资源在社会活动和人际互动的过程中产生,并在这个过程中成为文化资源,最终成为文化的一部分。基于系统功能语法框架,Kress和van Leeuwen建构了诸如音乐语法[31]或颜色语法[32]等模态语法框架,而其图像语法框架[23-25]常被应用于视觉交流等研究领域。

    作为意义建构的资源,其他符号系统具有同语言符号系统类似的“元功能”用以建构世界和表征意义[33]。语言元功能是语言的固有功能,具有高度概括性和抽象性,包括概念元功能、人际元功能和语篇元功能[20]。基于Halliday社会符号学理论,Kress & van Leeuwen[23-25]主张采取交际或传播路径考察社会意义建构的多种模态资源,并提出视觉图像语法框架。同三大元功能相对应,视觉语法理论区分再现意义、互动意义和构图意义。

    概念元功能区分为经验元功能和逻辑元功能,其中经验元功能指建构人们对现实世界经验的资源,主要体现为及物性系统的若干过程。及物性系统包括3个主要过程和3个次要过程[20]213-224。主要过程是识解现实世界中各种事件、感知和抽象关系经验的主要资源,包括物质过程、心理过程、关系过程。物质过程建构“做的”和“发生的”等事情,包括行动、活动和事件。心理过程建构生命个体的感知、情感和思想等。关系过程识解事件或概念间“是”和“拥有”等抽象关系;次要过程是位于主要过程边界处的较少使用的过程类型,包括行为过程、言语过程和存在过程。行为过程是关于身体行为的过程,言语过程是关于讲话的过程,存在过程是关于某物或人存在的过程。

    再现意义类似经验元功能同现实世界间的建构和识解关系,其主要功能是使现实经验化。再现意义分为叙事再现和概念再现[25]44-112。叙事再现呈现正在展开的行动和事件、变化过程和短暂的空间安排,具有矢量性(vectoriality),区分行动过程、反应过程、言语过程和心理过程。行动过程具有两个参与者,即行动者和目标。以矢量是否指向参与者为标准,区分及物和不及物行动过程。前者的矢量由行动者指向目标;后者的矢量则由行动者发出,但不指向特定参与者。反应过程的矢量是视线,具有反应者和现象两个参与者。根据视线的指向性,反应过程同样区分及物和不及物反应过程。言语过程和心理过程分别体现讲话者和感知者的所说和所想。在这两种过程中,矢量可以由连接对话泡与讲话者或连接思维泡与感知者之间的线条体现。

    概念再现以更普遍、几乎静态和永恒本质的方式呈现参与者,不具备矢量性,包括分类结构、分析结构和象征结构。分类结构通过分类关系将同类参与者联系起来。根据上位参与者是否具象化,分类结构区分显性和隐性。在分析结构中,参与者之间包括载体和属有属性,呈现部分−整体关系。若载体及其属有属性在图像中均有明显呈现,则该结构属于接合型分析结构;若载体并未作为整体呈现,则属于非接合型分析结构。象征结构再现参与者的意义或身份,区分象征属性结构和象征暗示结构。前者具有两个参与者,载体的象征意义在参与者间的关系中被建立;后者仅有载体一个参与者,其象征意义源自载体内部。及物性系统和再现意义系统的各个事件类型都有各自的参与者角色,详见表1

    表  1  符号系统过程类型及参与者角色分类表
    符号系统意义系统过程类型含义参与者角色
    言语符号及物性物质过程行动、活动、事件行动者、目标
    心理过程感知、情感、思想感知者、现象
    关系过程关系载体、属性;被识别者、识别者
    行为过程生理或心理行为行为者
    言语过程语言交流讲话者、说话内容
    存在过程存在存在物
    视觉符号再现意义行动过程行动、运动行动者、目标
    反应过程反应、识别反应者、现象
    言语过程语言内容讲话者、所说内容
    心理过程思维想法感知者、所想内容
    分类结构分类关系上位成分、下位成分
    分析结构部分-整体关系载体、属有属性
    象征结构象征关系载体、象征属性
    下载: 导出CSV 
    | 显示表格

    不同的事件类型包含的参与者角色及其属性也不同[16]。就语言系统而言,心理过程、行为过程和言语过程的参与者角色具有类人的意识和精神性特征;而图像系统的行动过程、反应过程、言语过程和心理过程的参与者角色同样具有类人的意识和精神性特征。

    生态话语分析涉及对生态环境问题的解读、评价,甚或是批评。任何评价或批评,不论出于何种角度、处于何种层面,都需要基于一定的标准和原则,而生态话语分析的标准和原则被称为“生态哲学观”[34]。生态哲学观指同生态问题相关的一系列哲学原则、假说和价值[34],是“个人所拥有的世界观、生态伦理以及对事物和事件的识构”[35]57。生态哲学观虽具有个体差异性,但其必须合乎科学、具备可行性且符合现实理据[36]

    生态语言学发展至今,生态哲学观也经历了相应的发展和变化[37-44]。虽然侧重和立场各有不同,但均强调了人与自然和谐共生和生态的可持续性[16]。基于以上的生态哲学观,本研究的生态哲学观强调生命平等、和谐共生,主张人类和其他物种都是自然生态的构成元素,具有平等的生命价值和地位,倡导人类与其他物种间、人类与自然生态间的和谐共生关系。

    本研究以儿童绘本《你好!大自然》为分析语料,这是一套中文原创生态科普绘本,将气候变暖、生物多样性破坏、草原荒漠化、湿地缩减、农药污染等话题与童话故事巧妙结合,共包括四个故事:“奇怪的鸟蛋”、“谁在帮鳄鱼孵蛋”、“了不起的蜂王”和“山林里的小怪兽”,每个故事由18幅插画构成,共计16104个字。

    本研究中绘本的整体意义主要由语言资源和图像资源共同建构。相对而言,语言模态中小句及物性和图像模态中叙事视觉过程(narrative visual processes)的分析体系相对完善,但视觉概念结构(visual conceptual structures)由于其不具备矢量且静态视觉意义较为宽泛,使其判断具有一定的不确定性。

    意义共建不仅体现在单一模态内部还体现在跨模态间,而跨模态间的意义共建往往基于某种符际关系。Barthes[45-46]提出图像以及其他模态的意义总是在某种程度上关于或依赖于语言,并区分了两种图文关系:其一,接力(relay),即语言信息和图像信息具有不同意义,语言信息补充图像信息;其二,详述(elaboration),则为语言信息详述图片信息。详述分为两种情况:一种是语言为先,图像是其示例;另一种是图像为先,语言是基于图像更为明确、具体的重述。两种图文关系都强调了图像和语言在共建整体意义时的互补关系,但详述的使用更为普遍。绘本的图文关系是典型的“语言为先”型详述,绘本的文字部分,即故事内容是其整体意义建构的基础。绘本的插画虽具有相对独立的主题,但须从属于故事,成为故事的辅助性符号或表意方式,具体情况详见图1

    图  1  视觉概念结构示例[19]14,18,29

    本研究在对插画中的视觉概念结构进行识别统计时,会在一定程度上结合插画外的文字意义对图像意义进行解读,仅统计参与详述故事的视觉概念结构。举例如图1所示,图1(a)和(b)选自“奇怪的鸟蛋”。(a)存在一个隐性分类结构,该分类结构呈现了鸟蛋的“奇形怪状”,是对故事内容的详述,故进行统计。(b)存在一个分析结构,雌鹭娜娜是载体,而其身上展开的蓑羽为其属有属性。该分析结构是对其文字内容的细节描写,故进行统计。图1(c)选自“了不起的蜂王”,该部分故事内容描写了大黄蜂“群”的慌忙逃窜,并未涉及个体描写,故将其判定为象征结构,载体是大黄蜂群。

    评判话语的生态取向是生态话语分析的主要方法和目的之一。根据话语所体现的意识形态同个人生态哲学观的兼容程度,Stibbe[36]区分有益性话语、破坏性话语和模糊性话语。有益性话语和生态哲学观相一致,破坏性话语和生态哲学观相背离;模糊性话语则介于两者之间,同时“包含和生态哲学观一致和背离的内容”[36]29,生态意义不明确。社会活动中的意义交流往往需要多种模态共同参与,意识形态在很大程度上不仅可以由语言符号呈现,还可以“通过其他符号信息明确地表达、阐释或说明”[47]388。因此,其他模态符号同样具备生态取向,具备有益性、破坏性和模糊性之分。

    本研究采取成分判定和语义判定相结合的方法,对图文过程的生态取向进行评判。成分判定指考察构成小句和图像的参与者成分是否具有类人的意识主体性;意义判定指解读小句和图像所传递的意义内容是否同本研究的生态哲学观相一致。成分判定首先明确小句和图像的隐藏生态取向,参与者角色是否具备类人的精神特征或认知能力是承认自然的内在价值、认可生命的平等地位的隐性表达。成分判定的目标较为具体,可帮助识别生态取向明显的过程类型。然后,语义判定对不明确的过程小句和图像进行意义解读。小句意义主要由过程动词承载,图像意义则需要结合故事内容进行阐释。通过考察其意义和本研究生态哲学观的匹配程度,区分有益性、破坏性和模糊性过程。

    符号意义的建构基础是概念、人际和语篇意义,而符号生态意义的建构和传递常在概念、人际和语篇意义的动态发展中被呈现[42]。人们通过识解绘本中文字和图像所表达的经验意义和再现意义,建构故事世界和人物角色,并参与叙事的整个过程。生态话语分析具有批判性和解读性,通过揭示符号所蕴含的生态意识或价值观念[48],在一定程度上解构了符号生态意义的建构方式和过程。因此,从Halliday社会符号理论,来解读此绘本中图文概念和生态意义的建构和互补机制,有助于阐释绘本中图文互补生态叙事的过程,从而为儿童绘本或教材的科学和生态编写提供参考。

    基于系统功能语法的及物性系统和视觉图像语法的再现意义系统,本研究对绘本《你好!大自然》的故事文字和插画进行详尽的生态性分析,并分别从事件过程类型及其生态取向两个维度进行数据分类和统计。故事文字的及物性过程类型及其生态取向的统计结果如表2所示。

    表  2  及物性过程类型及其生态取向分布表 %
    过程类型有益性模糊性破坏性总和
    物质过程23.523.920.7128.15
    心理过程11.040.000.0011.04
    关系过程4.395.230.009.62
    行为过程16.980.000.1217.10
    言语过程29.931.540.3631.83
    存在过程1.430.830.002.26
    下载: 导出CSV 
    | 显示表格

    插画的再现视觉过程协同故事文字的及物性过程建构绘本整体的生态意义,相应过程类型及其生态取向统计结果如表3所示。

    表  3  再现视觉过程类型及其生态取向分布表 %
    过程类型有益性模糊性破坏性总和
    行为过程48.900.000.4049.30
    反应过程42.530.000.4042.93
    心理过程0.400.000.000.40
    言语过程0.400.000.000.40
    分类结构0.000.900.201.10
    分析结构1.390.300.001.69
    象征结构2.790.700.704.18
    下载: 导出CSV 
    | 显示表格

    分析发现,此绘本在图文事件过程类型的分布上存在如下特征:首先,此绘本更倾向于使用行为和反应过程建构图像的再现意义,使用言语、物质和行为过程建构故事的经验意义。结合绘本叙事过程可知,此绘本个性化故事人物,从第三人称全知视角,以人物间对话交流推进故事展开,使得故事文字中言语、物质和行为过程占比显著。图像在视觉叙事过程中一方面难以通过对话泡和思维泡一一匹配文字中的言语和心理过程;另一方面,叙事再现需要基于矢量,以故事人物为载体呈现,故视觉叙事倾向于将文字中的此类过程转化为行为和反应过程。其次,视觉概念结构的占比显著低于叙事视觉过程。此绘本中视觉概念结构的呈现大多基于文字的环境描写、背景介绍或由及物性过程的环境成分转化而来。但此绘本中相应文字描写有限,使得视觉概念结构较少呈现。再次,整体而言,再现视觉过程使用频率高于及物性过程使用频率。由于语言表达中一个过程通常会涉及一个或两个参与者,而在图像意义建构中叙事视觉过程需基于载体的矢量,故造成一个及物性过程可能需要多个叙事视觉过程呈现的可能。

    此绘本的图文在生态过程分布上存在如下特征:首先,生态有益性及物性过程和再现视觉过程占比显著高于生态模糊性和生态破坏性过程,整体呈现生态有益性取向。其次,视觉叙事中行为过程和反应过程只呈现生态有益性和破坏性取向。此绘本中视觉叙述的行为过程和反应过程的参与者角色均被赋予类人的精神和意识特征,使得其具备呈现有益性生态价值的潜势。而且纵观整个绘本,只有“了不起的蜂王”故事中存在大黄蜂“欺负”野蜜蜂的情节,同本研究的生态哲学观相悖,呈现生态破坏性取向。而其他行动过程和反应过程同本研究生态哲学观一致,呈现生态有益性取向。再次,存在少量图文言语过程和心理过程的一致性应用,即语言符号中言语和心理过程的说话内容和现象相应地在图像对话泡和思维泡中被描绘。对话泡和思维泡中的内容需经由讲话者和感知者这一中介进行投射,所以过程本身的生态取向不以对话泡和思维泡中的内容决定,而由参与者角色的言语和感知行为决定,故此类过程均为生态有益性。第四,视觉概念结构的生态取向整体呈现有益性。此绘本中,分类结构用于呈现相同和不同事物间的分类和对比,故多呈现模糊性取向;分析结构和象征结构往往具有特定的语言和细节描写,多用于分析参与者特征或描写环境状态,故多呈现有益性取向。

    本部分以绘本《你好!大自然》中的故事“山林里的小怪兽”为例对图文生态意义的互补建构进行解读。童话是一类特殊的语篇体裁,具有特有的语言描述模式和体裁结构潜势;基于格林童话、伊索寓言和现代儿童故事等,Hasan[49]提出童话的体裁结构潜势是“[(<布局>)起始事件^]${\mathop {\text{后继事件}} \limits^{\curvearrowleft}}$^最终事件^[^(尾声)*(寓意)]”。根据《你好!大自然》四个故事的叙事脉络,本绘本整体的纲要式结构可体现为“(布局)^起始事件^后继事件^最终事件^(尾声)”。“山林里的小怪兽”讲述的是小穿山甲甜甜和悠悠离开祖辈藏身的山顶,下山历练、冒险、结识其他动物朋友,并最终在朋友们的帮助下返回家乡的故事;其纲要式结构是“布局^起始事件^后继事件^最终事件^尾声”。伴随故事展开,“山林里的小怪兽”中文字部分的的及物性过程和生态取向分布情况详见图2

    图  2  纲要式阶段的及物性过程生态分布

    插画的再现视觉过程和生态取向分布同故事的文字部分大体相同,但由于插画选择性呈现文字内容,使得其分布情况也存在差异,具体见图3

    图  3  纲要式阶段的再现视觉过程生态分布

    图2图3可知,本故事中破坏性事件过程为零,整体呈现有益性生态表征。就故事的纲要式结构而言,起始、后继和最终事件阶段,过程数量占比最大,生态资源负载最大,且有益性事件过程最多;布局和尾声阶段,过程数量最少,生态资源负载最小。但在布局阶段,及物性过程的有益性和模糊性数量持平,而再现视觉过程则整体呈现有益性。在过程类型方面,此绘本更倾向于使用语言的物质、言语、行为过程和图像的行为和反应过程建构生态意义。视觉叙事过程中,及物性过程多转换成有益性行为和反应过程,少量转化为模糊性分类、分析和象征概念结构。本故事插画中不存在言语过程,只存在3个心理过程。视觉叙事主要以图像叙事再现推动故事发展,故以具有心理过程的图4为例,解析图文间过程类型的互补和示例关系。

    图  4  选自“山林里的小怪兽” [19]10-11

    图4发生在本故事的起始事件阶段,内容讲述的是小穿山甲甜甜和悠悠将打算出去冒险的想法告知外婆,并遭到外婆阻止。在图4中,被赋予人类精神和意识特征的3个卡通人物小穿山甲甜甜、悠悠和外婆是最为核心的行为者,也是生态叙事资源的最为主要的负载者。通过分析文字和图像间的示例关系,详见表4。本研究发现,图文间生态意义的建构呈现不对等关系,生态意义可以嵌入在图像中参与者角色的行动表征、情节设计、所思所想和背景中。

    表  4  图像−言语示例对比表
    展开再现视觉过程图像内容言语片段及物性过程
    1“外婆也说”言语过程
    2“失望”“不明白”心理过程
    3行动、反应过程外婆望着“望着”行为过程
    4行动、反应过程甜甜、悠悠离开“远去的背影”
    5心理过程外婆思维泡“外婆想起”心理过程
    6“叹道”言语过程
    下载: 导出CSV 
    | 显示表格

    在故事文字中,小穿山甲甜甜和悠悠都承担感知者角色,外婆同时承担讲话者、感知者和行为者角色,具体详见小句a~f。小句a和f中的“外婆也说”和“叹道”分别表征外婆对小穿山甲甜甜和悠悠的劝阻和对生存状态的感叹,说话内容被直接投射,且外婆被赋予类人精神特征,两个过程属于生态有益性言语过程。小句b和c中的“失望”和“不明白”分别表征小穿山甲甜甜和悠悠面对父母和外婆劝阻的心理状态。小句e中“外婆想起”表征外婆对过去生活的回忆,由于甜甜、悠悠和外婆都被赋予精神和意识特征,三个过程属于生态有益性心理过程。小句d中“望着”表征外婆的行为动作,使外婆具有精神和意识特征,属于生态有益性行为过程。

    a. 没想到外婆也说:“想下山?门儿都没有!小家伙们,我警告你们,以后千万千万不要再有这么可怕的想法啦!”/

    b. 甜甜和悠悠很失望。/

    c. 她们不明白,大人们为什么这么害怕下山?/

    d. 望着两只小穿山甲远去的背影,/

    e. 甜甜的外婆想起自已小时候为了躲避猎人的捕杀,和家人到处躲藏的可怕生活,/

    f. 不禁叹道:“唉!哪里也没有这山上安全。”

    伴随文字故事的展开,图像的生态意义被建构。图像多选择性呈现文字故事的重要情节,图4主要呈现了小穿山甲甜甜和悠悠离开的过程和外婆的思想活动。图像的再现视觉过程选择性呈现了文字“望着”和“外婆想起”所对应的行为和心理过程,以及文字“远去的背影”所在的行为过程的范围成分。及物性过程在被转化为再现视觉过程中,物质过程的参与者角色在视觉上被全部呈现,使得过程类型转换为行为和反应过程的同时,数量增加。两种叙事视觉过程的行动者和反应者均具备精神和意识特征,有助于建构图像的生态意义,属于生态有益性过程。图像中心理过程由思维泡呈现,所想内容被单独具象化且仅由思维泡的小尾巴将人物角色同所想内容相连接,形成投射关系。视觉心理过程由于参与者同所想内容间的投射关系,过程本身的生态取向不受投射内容影响。但投射内容所建构的生态意义呈现出人类对自然和生物的破坏,同本研究的生态哲学观相悖,属于生态破坏性。此类图文建构形式保证了叙事生态性的同时,形成比对强烈的生态矛盾,有助于唤醒人们的生态保护意识。

    儿童绘本《你好!大自然》的生态取向整体呈现有益性,考察其语言和视觉叙事策略,有助于系统阐释绘本中图文生态意义的跨模态建构机制,强化绘本叙事结构和生态主题间的相互促进作用。本研究发现,语言叙事和视觉叙事的生态表征存在一定的不对等性,视觉叙事可以通过转换事件过程类型、选择性呈现故事情节等策略避免生态破坏性视觉意义被建构。另外,绘本的最主要受众群体是儿童,而受众是实现信息传播目的和价值的根本所在。儿童在绘本阅读过程中,由于其语言水平较低,通常以识解图像意义为主,文字意义为辅[50]。因此,在绘本生态意义的建构过程中,应重构视觉生态叙事架构,优化图文生态叙事结构,具体策略如下:

    个性化参与者角色,引发受众情感共鸣。参与者角色是语言和视觉叙事的主要承载者和推动者,因此受众对参与者角色所负载的生态价值观念的意识反馈最为直接。参与者角色是否被赋予和人类平等的生命价值,是否具有类人的精神和意识特征,是评判事件和叙事过程生态性与否的重要标准。Stibbe[36]指出生态意识的凸显策略包括对人类以外的其他物种进行个性化和个体化描述等。个性化、个体化描述使得语言叙事中的参与者角色在视觉叙事中被前景化,强化视觉叙事的生态性张力,并引发受众的情感共鸣,有助于生态意义的有益性建构。

    叙事视角同时空视点交叉转换,避免生态破坏性过程或结构被直接呈现。此绘本的语言叙事主要采取第三人称全知外视角,全知叙述者处于故事之外,但却常借用故事人物的内在视角,即故事人物间的语言交流推动故事情节发展,使得及物性心理和言语过程的投射性叙事结构使用频繁。但当图像对故事进行详述时,视觉叙事则主要采取了固定式内视角,通过故事人物的感知和行为推动故事情节发展。由于故事人物具有类人的精神和意识特征,视觉叙事整体具有生态有益性意义潜势。另外,此绘本的语言叙事在转换为视觉叙事时,常伴随视点的转换。语言表述的“现在此时此地”视点被转换为视觉叙事的“过去那时那地”视点,避免了破坏性生态意义的直接建构,但却凸显了人类文明同自然环境之间的矛盾。在视角和视点的交叉转换中建构生态意义,不仅可以增强表述和意义间的张力[51],还可以显化生态矛盾,激发读者的生态保护意识。

    强化静态视觉信息呈现,增加生态有益性概念结构。此绘本较少使用视觉概念结构建构意义,但故事发生的背景和特殊的结构呈现是叙述再现的基础,是生态意义建构的重要资源。隐喻和象征在语言叙事中具有前景化信息、凸显主题、深化内涵等作用[52]。视觉生态叙事可通过使用有益性象征结构实现语言表述的隐喻和象征修辞,通过建立语言叙事和视觉表征间的象征关系,拓展生态内涵,强化视觉效应。细节或微观描写具有细化故事情节、揭示故事主题等作用。在视觉叙事过程中,分析和分类结构可在一定程度上实现类似的功能,如图1(b)中针对雌鹭娜娜的视觉特写在细腻刻画人物角色的同时,吸引受众关注且呼应故事的生态主题。及物性过程的部分环境成分往往会通过图像的背景和构图呈现[25],但其语言表述形式却往往并不具备生态倾向。此时“以图补文”亦可增加视觉叙事的生态有益性倾向。

    儿童教育是教育体系中的关键环节,而儿童教育的教材则以绘本为主。不同于初高中或高等教育教材的多模态语篇[53-54],儿童绘本具有其特有的叙事性模态特征。因此,对儿童绘本进行生态评估,探究其生态意义的社会符号建构,需同时考察其语言和视觉叙事的生态意义建构过程。

    基于社会符号学理论,本研究通过考察儿童绘本《你好!大自然》的语言和图像符号资源的生态属性,揭示其所蕴含的生态价值观念和意识形态;并基于其符号资源的使用特征,提出个性化参与者角色、叙事视角同时空视点交叉转换、强化静态视觉信息呈现等图文生态叙事策略,希望对儿童绘本或教材的生态性编写提供参考。本研究仅聚焦了基于概念意义的儿童绘本生态意义建构,并未考察人际和语篇意义对儿童绘本生态意义建构的作用。但图像的色彩饱和度及构图结构等对绘本整体生态意义的建构不容忽视,可在今后的研究中进一步探究。

    1)  图1中的图(a)(b)(c)分别选自本绘本中故事“奇怪的鸟蛋”和“了不起的蜂王”。
  • 图  1  视觉概念结构示例[19]14,18,29

    图  2  纲要式阶段的及物性过程生态分布

    图  3  纲要式阶段的再现视觉过程生态分布

    图  4  选自“山林里的小怪兽” [19]10-11

    表  1  符号系统过程类型及参与者角色分类表

    符号系统意义系统过程类型含义参与者角色
    言语符号及物性物质过程行动、活动、事件行动者、目标
    心理过程感知、情感、思想感知者、现象
    关系过程关系载体、属性;被识别者、识别者
    行为过程生理或心理行为行为者
    言语过程语言交流讲话者、说话内容
    存在过程存在存在物
    视觉符号再现意义行动过程行动、运动行动者、目标
    反应过程反应、识别反应者、现象
    言语过程语言内容讲话者、所说内容
    心理过程思维想法感知者、所想内容
    分类结构分类关系上位成分、下位成分
    分析结构部分-整体关系载体、属有属性
    象征结构象征关系载体、象征属性
    下载: 导出CSV

    表  2  及物性过程类型及其生态取向分布表 %

    过程类型有益性模糊性破坏性总和
    物质过程23.523.920.7128.15
    心理过程11.040.000.0011.04
    关系过程4.395.230.009.62
    行为过程16.980.000.1217.10
    言语过程29.931.540.3631.83
    存在过程1.430.830.002.26
    下载: 导出CSV

    表  3  再现视觉过程类型及其生态取向分布表 %

    过程类型有益性模糊性破坏性总和
    行为过程48.900.000.4049.30
    反应过程42.530.000.4042.93
    心理过程0.400.000.000.40
    言语过程0.400.000.000.40
    分类结构0.000.900.201.10
    分析结构1.390.300.001.69
    象征结构2.790.700.704.18
    下载: 导出CSV

    表  4  图像−言语示例对比表

    展开再现视觉过程图像内容言语片段及物性过程
    1“外婆也说”言语过程
    2“失望”“不明白”心理过程
    3行动、反应过程外婆望着“望着”行为过程
    4行动、反应过程甜甜、悠悠离开“远去的背影”
    5心理过程外婆思维泡“外婆想起”心理过程
    6“叹道”言语过程
    下载: 导出CSV
  • [1] CORRIGAN R & SURBER J R. The reading level paradox:why children’s picture books are less cohesive than adult books [J]. Discourse Processes, 2010, 47(1):32-54.
    [2] PAINTER C, MARTIN J & UNSWORTH L. Reading Visual Narratives: Image Analysis of Children’s Picture Books [M]. Sheffield, Bristol; Equinox, 2012.
    [3] 何倩. 浅谈国外儿童绘本在中国的译介[J]. 出版广角,2019(18):48-50. doi: 10.16491/j.cnki.cn45-1216/g2.2019.18.013
    [4] 邱晴. 图文互补与意义建构−儿童绘本的多模态话语研究[J]. 江西师范大学学报(哲学社会科学版),2020,53(3):129-136.
    [5] 胡勇. 概念意义视阈下多模态叙事绘本图文关系研究[J]. 江西社会科学,2021,41(6):104-111.
    [6] 孟玲,赵娜. 中美死亡教育儿童绘本中“死亡”意义多模态建构的文化比较−《死亡是什么?》分析[J]. 中国外语,2021,18(4):47-53.
    [7] ALEXANDER R & STIBBE A. From the analysis of ecological discourse to the ecological analysis of discourse [J]. Language Sciences, 2014, 41(A):104-110.
    [8] 袁颖. 媒体报道的生态取向:BBC中国雾霾新闻标题的生态话语分析[J]. 北京科技大学学报(社会科学版),2018,34(4):33-41. doi: 10.3969/j.issn.1008-2689.2018.04.005
    [9] 董典. 新时代新闻话语的多维度生态话语分析[J]. 外语电化教学,2021(1):92-97,15.
    [10] 黄国文,陈旸. 自然诗歌的生态话语分析−以狄金森的《一只小鸟沿小径走来》为例[J]. 外国语文,2017,33(2):61-66. doi: 10.3969/j.issn.1674-6414.2017.02.010
    [11] 潘杰,原苏荣. 系统功能语言学视域下《归去来兮辞》生态话语分析[J]. 北京科技大学学报(社会科学版),2022,38(2):185-192.
    [12] POOLE R. A corpus-aided ecological discourse analysis of the Rosemont Copper Mine debate of Arizona,USA [J]. Discourse & Communication, 2016, 10(6):576-595.
    [13] ALEXANDER R J. Investigating texts about environmental degradation using critical discourse analysis and corpus linguistic techniques [C] // FILL A & PENZ H. The Routledge Handbook of Ecolinguistics. New York, London: Routledge, 2018: 196-210.
    [14] CAIMOTTO M. Discourses of Cycling, Road Users and Sustainability: An Ecolinguistic Investigation [M]. London: Palgrave Macmillan, 2020.
    [15] 苗兴伟,李珂. 立场表达视角下企业生态身份的话语建构对比研究[J]. 西北师大学报(社会科学版),2022,59(2):126-135.
    [16] 于晖,王丽萍. 生态话语及物性分析模式探究−以教育语篇为例[J]. 外语与外语教学,2020(6):43-54,120,148.
    [17] 曾蕾,洪丹. 德育教材生态话语之图文态度评价模式探讨[J]. 中国外语,2021(1):53-62.
    [18] HALLIDAY M A K. Language as Social Semiotics: The Social Interpretation of Language and Meaning [M]. London: Edward Arnold, 1978.
    [19] 英娃. 你好!大自然[M]. 朱世芳 绘. 江苏: 江苏凤凰科学技术出版社, 2020.
    [20] HALLIDAY M A K & MATTHIESSEN C M I M. Halliday’s Introduction to Functional Grammar (4th ed. ) [M]. London, New York: Routledge, 2014.
    [21] O’TOOLE M. The Language of Displayed Art [M]. London: Leicester University Press, 1994.
    [22] LEMKE J L. Multiplying meaning: Visual and verbal semiotics in scientific text [C] // MARTIN J R & VEEL R. Reading Science: Critical and Functional Perspectives on Discourses of Science. London, New York: Routledge, 1998: 87-113.
    [23] KRESS G & VAN LEEUWEN T. Reading Images: The Grammar of Visual Design (1st ed. ) [M]. London, New York: Routledge, 1996.
    [24] KRESS G & VAN LEEUWEN T. Reading Images: The Grammar of Visual Design (2nd ed.) [M]. London, New York: Routledge, 2006.
    [25] KRESS G & VAN LEEUWEN T. Reading Images: The Grammar of Visual Design (3rd ed.) [M]. London, New York: Routledge, 2021.
    [26] NGO T, HOOD S, MARTIN J R, et al. Modelling Paralanguage Using Systemic Functional Semiotics: Theory and Application [M]. London, New York: Bloomsbury, 2022.
    [27] O’HALLORAN K L. Systemic functional-multimodal discourse analysis (SF-MDA):constructing ideational meaning using language and visual imagery [J]. Visual Communication, 2008, 7(4):443-475. doi: 10.1177/1470357208096210
    [28] MARTIN J R. Intermodal reconciliation: mates in arms [C] // UNSWORTH L. New Literacies and the English Curriculum: Multimodal Perspectives. London, New York: Continuum, 2008: 112-148.
    [29] BATEMAN J. Text and Image: A Critical Introduction to the Visual/Verbal Divide [M]. London, New York: Routledge, 2014.
    [30] WHORF B L. Language, Thought and Reality [M]. Cambridge, MA: MIT Press, 1956.
    [31] VAN LEEUWEN T. Speech, Music, Sound [M]. London: Palgrave Macmillan, 1999.
    [32] KRESS G & VAN LEEUWEN T. Colour as a semiotic mode:notes for a grammar of colour [J]. Visual Communication, 2002, 1(3):343-369. doi: 10.1177/147035720200100306
    [33] KRESS G. Multimodality: A Social Semiotic Approach to Contemporary Communication [M]. London, New York: Routledge, 2010.
    [34] NAESS A. The shallow and the long range, deep ecology movement [C] // DRENGSON A & INOUE Y. The Deep Ecology Movement: An Introductory Anthology. Berkeley, CA: North Atlantic Books, 1995: 3-10.
    [35] 黄国文,陈旸. 生态哲学与话语的生态分析[J]. 外国语文,2016,32(6):55-61. doi: 10.3969/j.issn.1674-6414.2016.06.010
    [36] STIBBE A. Ecolinguistics: Language, Ecology and the Stories We Live By [M]. London, New York: Routledge, 2015.
    [37] NAESS A. Ecology, Community and Lifestyle: Outline of an Ecosophy [M]. Cambridge, MA: Cambridge University Press, 1989.
    [38] BOOKCHIN M. Which Way for the Ecology Movement? [M]. Oakland, CA: AK Press, 1994.
    [39] HOPKINS R. The Transition Handbook: From Oil Dependency to Local Resilience [M]. Dartington: Green Books, 2008.
    [40] LARSON B. Metaphors for Environmental Sustainability: Redefining Our Relationship with Nature [M]. New Haven, CT: Yale University Press, 2011.
    [41] 黄国文. 论生态话语和行为分析的假定和原则[J]. 外语教学与研究,2017,49(6):880-889,960.
    [42] 何伟,张瑞杰. 生态话语分析模式构建[J]. 中国外语,2017,14(5):56-64. doi: 10.13564/j.cnki.issn.1672-9382.2017.05.008
    [43] 何伟,魏榕. 多元和谐,交互共生−国际生态话语分析之生态哲学观建构[J]. 外语学刊,2018(6):28-35. doi: 10.16263/j.cnki.23-1071/h.2018.06.006
    [44] 何伟,刘佳欢. 多元和谐,交互共生:生态哲学观的建构与发展[J]. 山东外语教学,2020,41(1):12-24.
    [45] BARTHES R. Elements of Semiology [M]. London: Cape, 1967.
    [46] BARTHES R. Image-Music-Text [M]. London: Fontana, 1977.
    [47] VAN DIJK T A. Discourse and ideology [C] // VAN DIJK T A. Discourse Studies: A Multidisciplinary Introduction (2nd ed. ). London: Sage, 2011: 379-407.
    [48] 黄国文. 从生态批评话语分析到和谐话语分析[J]. 中国外语,2018,15(4):39-46. doi: 10.13564/j.cnki.issn.1672-9382.2018.04.006
    [49] HASAN R. The nursery tale as a genre [J]. Nottingham Linguistic Circular, 1984(13):71-102.
    [50] 国防. 多模态语篇图文关系识解的对比研究−以中美读者阅读英文绘本为例[J]. 外语学刊,2017(6):14-18. doi: 10.16263/j.cnki.23-1071/h.2017.06.003
    [51] 纪秀明,赵永青. 阿特伍德小说生态叙事策略分析[J]. 湖南大学学报(社会科学版),2011,25(3):78-82. doi: 10.3969/j.issn.1008-1763.2011.03.016
    [52] SIMPSON P. Language Through Literature: An Introduction [M]. London, New York: Routledge, 1997.
    [53] O’HALLORAN K L. Mathematical Discourse: Language, Symbolism and Visual Images [M]. London, New York: Continuum, 2005.
    [54] 张德禄,张淑杰. 多模态性外语教材编写原则探索[J]. 外语界,2010(5):26-33.
  • 期刊类型引用(3)

    1. 宋金戈,于晖. 外语课程思政教学路径建构——以生态素养培育为例. 中国外语. 2024(01): 28-37 . 百度学术
    2. 董博宇. 亲子互动中儿童指称类修正的会话分析研究. 北京科技大学学报(社会科学版). 2023(03): 277-288 . 百度学术
    3. 曾蕾,朱薪羽. 多模态视角下投射意义的再符号化研究——以儿童文学双语绘本为例. 北京科技大学学报(社会科学版). 2023(05): 554-562 . 百度学术

    其他类型引用(4)

  • 加载中
图(4) / 表(4)
计量
  • 文章访问数:  761
  • HTML全文浏览量:  407
  • PDF下载量:  102
  • 被引次数: 7
出版历程
  • 收稿日期:  2022-10-15
  • 网络出版日期:  2022-11-21
  • 刊出日期:  2022-12-05

目录

/

返回文章
返回