多模态话语构建
作者 :  王春燕

  摘 要: 多媒体时代带来的语篇多模态化为话语分析注入新的元素,同时话语分析理论也在不断推陈出新、与时俱进,如在系统功能学说上建立起来的多模态话语分析理论。本文以青奥会会徽为例,对其进行了再现意义、互动意义和构图意义三方面的分析,旨在加深对社会符号学的认识,了解多模态话语的表意方式,增强多模态话语的分析能力,促进语言学与社会现实的交融。
  关键词: 多模态 社会符号学 青奥会会徽
  1.引言
  2011年5月19日,南京青奥会会徽正式发布,以其新颖独特的形式和寓意深刻的内涵广受赞誉。青奥会会徽的精彩亮相及青奥会的热闹筹备让人联想起近年来多模态话语分析的蓬勃发展。随着多媒体技术和计算机网络的发展,以及人们交际渠道的多样化,多模态话语,尤其是图文并茂的表现方式,凭借其与时俱进的特质,以及对视觉强烈的冲击力,成为越来越受欢迎的信息传播方式,而多模态话语分析日益成为语言学研究的热点之一。本文运用多模态分析的方法,对青奥会会徽进行了社会符号学分析,从语言学角度、图像角度揭示了其深刻内涵。
  2.理论基础
  首先提出“多模态话语”(multimodal discourse)的是克瑞斯和勒文(Kress & Leeuwen,1996),同时韩礼德的功能语法理论也为多模态话语理论的建立作出了巨大贡献。本文理论阐述部分主要包括功能主义概述、韩礼德的系统功能学说及克瑞斯和勒文的多模态话语的社会符号学分析理论。
  2.1功能主义
  海姆斯(Hymes,D.H.)首先提出交际能力这一概念,指出交际能力既包括语言能力,又包括语言运用。这一定义类似于乔姆斯基对语言能力和语言运用的区分。而功能主义(functionalism)即指现代语言学界与形式主义相对峙的一种学术思潮,它旨在通过语言在社会交际中应实现的功能描写和解释各种语言现象的语言学特征(王铭玉,2004)。功能主义理论强调语言的交际功能在日常生活中的使用,即语言的交际能力。韩礼德(Halliday,M.A.K.)认为语言的功能主要是表达意思,而不是把人们的言语置于固定的结构框架中。他从语言运用的角度提出语言的三种功能:认知功能、建立和维持人际关系的功能及连贯脉络的功能。布拉格学派代表人物密切关注语言系统的功能和语言在实际生活中的应用。弗斯(Firth,J.R.)强调语篇研究的重要性,因为语篇是社会情景中典型的语义选择。哥本哈根学派代笔人物叶尔姆斯列夫(Hjelmslev,L.)重视对语言事实的研究。
  2.2系统功能学说
  在众多功能主义研究者中,韩礼德凭借其系统功能学说脱颖而出。韩礼德的系统功能的理念旨在语义分析,主要体现了语言的“意义潜势”。该理论的最大特点就是将语言看成社会符号,真实的语言是在各种社会文化活动中得到体现的。韩礼德(1985)认为语法是外部环境的再现,帮助人们更好地理解周围发生的一切。他把语言的功能归纳为三大类:概念功能(ideational function)、人际功能(interpersonal function)及语篇功能(textual function)。
  2.3多模态话语的社会符号学分析理论
  克瑞斯和勒文根据社会话语多样性和文化多元性的发展要求,拓展了系统功能语言学理论,认为图像是社会符号,图像可以用韩礼德的社会符号学理论分析。多模式(multimodal)指复合话语,即除了文本之外,还带有图像、图表等元素(李战子,2003)。多模态话语研究强调要把多模态语篇作为一个整体分析,例如在分析一则广告时要把音乐、图片及标示语结合起来,才能准确地传达广告内涵,这种研究方法在语言研究和图像研究之间架起一座桥梁,把语言和图像有效地融合在一起。在《社会符号学》一书中,豪狄捷和克瑞斯(Hodge& Kress)明确指出,社会大环境会对符号所要表达的意义具有重大影响,研究符号意义时应考虑上下文,意义的主体和客体,社会结构和社会力量,以及他们之间错综复杂的各种关系等各个因素。
  3.青奥会会徽的多模态话语分析
  3.1功能语法的视觉陈述
  传统的语法研究类似于语言学研究中的词汇研究,又类似于对叙事文章中人物、时间和地点的研究,具有分散、孤立的特点。功能语法克服了传统研究的缺陷,把语言和社会行为、文化内涵及其社会意义联系起来,使单独的因素成为整体的一部分,再现、揭示整体的意思。克瑞斯和勒文根据韩礼德将语言功能分类,构建了以再现的、互动的和构图的意义为核心的视觉分析框架。他们将语法延伸到视觉模式,认为视觉语法就是把描绘的人物、事物和环境等组合成视觉陈述,这种展示方式就如语言语法规定如何词组句、句组篇。
  3.2图像的交际功能
  很多符号和模态都参与交际过程,语言仅仅是其中一种。在计算机网络和多媒体技术快速发展的今天,图像作为一种交际符号,其作用日益彰显出来,它与语言及其他模态一起促进交际的多元化。图像的交际功能在大学中的利用很广泛――学校橱窗里永远不乏各种各样的海报,海报一般都很吸引眼球,很直接地向行人传递相关活动的信息。图像本身就是自成系统的、结构缜密的,是具有表意功能的一种意义存在方式。图像可以看做是整个社会的缩略图,它直接、清楚地传递了社会想向我们传达的信息,同时对社会也有一定的反作用,所以多模态文本在传递信息、宣传口号、扩大影响方面具有不可忽视的作用。本文从“再现意义”、“互动意义”和“构图意义”三个方面对青奥会会徽进行了多模态话语分析。
  3.2.1再现意义
  勒文根据图像的特点,把再现意义分为叙事的和概念的两大类,其中叙事再现分为行动的、反应的、言语和心理这三个过程,概念再现分为分类过程、分析过程及象征过程。
  李战子(2003)认为:矢量体现在图片的线条中,通常是图中元素形成的斜线,尤其是强烈的对角线。矢量只存在于叙事图像中,代表该叙事图像的话题。当矢量把各个参与者相互联系起来时,他们的再现意义就表现为对彼此在做某事。   上图为青奥会会徽,粗略地浏览下图片,我们会发现这张图片最明显之处在于彩色的“nANJInG”七个字母,它们形态各异,宛如来自世界上各个地方的七个青年欢聚在南京,共享青奥盛会,它们一同构成了这一行动过程的行动者。七个青年看似独立,中间没有矢量连接,只是相互陪伴,又可以看成是一个整体,代表了所有参加青奥会的人是一个欢乐的大家庭。七个青年的目光望向下面的数字和字母,整个画面传递了所有参与者携手向着“2014 YOUTH OLYMPIC GAMES”迈进的内涵。这一多彩的会徽很好地诠释了南京和中国的活力,鼓励世界各地的年轻人一起参与到2014青奥盛会中。也很好地体现了国际奥委会主席罗格创办青奥会的初衷:促进世界各地青年之间的交流和沟通,使奥林匹克精神深入人心。
  同时,两个“n”呈现出城门的形态,代表了具有南京特色的古老城墙,“n”后面的简单几笔勾勒又使其成为了江南民居,体现了南京婉约热忱的韵味,整个形态表达了南京打开城门,欢迎世界各地的年轻人参加青奥盛会的国际范。
  最下方的两个对话框则有对话、沟通和交流的意思,既表示南京通过青奥会与世界各地进行很好的交流沟通,又表示世界各地的年轻人通过青奥会这一平台,增进彼此之间的了解。
  3.2.2互动意义
  多模态话语中的互动意义主要是指图像的制作者,图像本身所代表的事物及图像的观看者之间的关系。依靠接触、社会距离、态度和情态四个要素实现互动,本文主要从情态方面分析青奥会会徽的互动意义,即画面陈述的真实度和可信度。
  整个会徽包含11中颜色,其中“nANJInG”字样就占据了6种颜色:2种蓝色,2种绿色,橙色和粉色。鲜艳明快的颜色让人感到温暖,联想到青春、朝气和生命力。此外,几个字母位置错落有致,给人一种跳跃升腾的感觉,象征运动给人带来的健康与生机,体现了参与者的青春活力和青奥会的生机盎然,南京人民对于成功举办一届属于年轻人自己的奥运会的热情和决心,也诠释了南京作为六朝古都,承载着厚重的历史,更迸发着勃勃生机,朝着绿色环保可持续的方向发展。
  3.2.3构图意义
  构图意义指图像的再现意义和互动意义结合起来,组成一个整体。克瑞斯和勒文提出三种实现构图意义的资源:信息值、取景和显著性。显著性是指图片中的元素吸引观看者注意力的不同程度。取景即指有没有用取景的方式处理图片。元素在图片中的位置则直接影响该元素的信息值。任何特定的元素在整体中的角色和功能取决于它是被放置在左边还是右边,上方还是下方。克瑞斯和勒文认为从左到右是“已知信息”过渡到“新信息”的过程,而从上到下分别是“理想信息”和“真实信息”。根据这一构图理论,我们分析青奥会会徽的构图意义。
  整个会徽可以分为上中下三个部分:象征明城墙和江南民居轮廓的“nANJInG”字样位于图像上方,“2014 YOUTH OLYMPIC GAMES”位于图像中间位置,框中的五环及“YOGDNA”位于图像最下端。明城墙和江南名居轮廓表达了南京人民打开城门欢迎来自世界各地青年的热情及南京必将举办一届空前成功的青奥会的理想;而青奥会视觉标志五环则是真实确定的信息,让人一眼就看出会徽主旨在于青奥会;位于中间的“2014 YOUTH OLYMPIC GAMES”起到了中介和桥梁作用,表达了南京希望通过青奥会这一体育盛事实现与世界的全面交流,促进世界各地的人的沟通与了解,让奥林匹克的核心精神被更多的青年接受。
  4.结语
  本文根据多模态话语的理论和框架,运用社会符号学下的视角语法理论和视觉分析方法分析了青奥会会徽的再现意义、互动意义和构图意义。图像时代的到来,特别是图像在杂志、广告、海报及儿童读物等领域的广泛应用,使我们无法忽略多模式话语。语言、图像及其他模态的混合使用促进了现在交际的方式和范畴,在这一趋势下,我们有必要对多模态话语有更清晰的认识,并且对多模态话语进行基于实践的分析。鉴于多模态话语的多样性和复杂性,我们需要更多地进行实证研究,而不仅是理论方面的阐述。本研究只对图片的多模态进行分析,然而多模态话语这一社会符号已经渗透到生活的方方面面,只有多加分析和研究,才会对多模态话语的社会符号功能有更真实而清晰的了解。
  参考文献:
  [1]顾曰国.多媒体、多模态学习剖析.外语电化教学,2007(114):3-12.
  [2]胡丹.多模式话语的社会符号学分析――则香水广告赏析.华东交通大学学报,2007(3):126-130.
  [3]胡壮麟.社会符号学研究中的多模态化.语言教学与研究,2007(1):1-10.
  [4]孔亚楠.多模态环保广告语篇的社会符号学分析.外语艺术教育研究,2009(2):23-28.
  [5]雷蕾.社会符号学研究中的多模态话语构建――基于2008北京奥运会会徽的话语分析.文学语言学研究,2009(17):44-45.
  [6]李恩慧.以社会符号学的视角看多模态话语分析――2011深圳世界大运会会徽为例.湖北经济学院学报(人文社会科学版),2012(7):129-130.
  [7]李妙晴.多模态话语分析理论在新媒介时代的应用.学理论,2009(14):204-205.
  [8]李战子.多模式话语的社会符号学分析.外语研究, 2003(5):1-8.
  [9]王铭玉.语言符号学.高等教育出版社,2004.
  [10]叶起昌.超文本多语式的社会符号学分析.外语教学与研究,2006(6):437-442.
  [11]张德禄.多模态话语分析综合理论框架探索.中国外语,2009(1):24-30.
  [12]张德禄.多模态话语理论与媒体技术在外语教学中的应用,外语教学,2009(7):15-20.
  [13]张萌.韩礼德的语言符号理论――兼与索绪尔语言符号理论比较,赤峰学院学报,2010(3):162-164.
  [14]朱永生.多模态话语分析的理论基础与研究方法,外语学刊,2007(5):82-86.
  [15]左瑞芳,刘丰,徐亚军.从社会符号学视角解读奥巴马竞选海报.江苏外语教学研究,2009(1):81-85.
  [16]Halliday,M.A.K.Language as Social Semiotic:The Social Interpretation of Language and Meaning.Foreign Language Teaching and Research Press. 1978/2001.
  [17]Hodge,B.and Kress,G. Social Semiotics.Cambridge: Polity,1988.
  [18]Kress,G.& T.Van Leeuwen.Structure of Visual Representation,Journal of Literary Semiotics,1992.

文秘写作 期刊发表