社会符号学视角下的多模态话语分析
作者 :  杨洪玉

  摘 要:随着数字时代的到来,图像、文字、声音等社会符号共同参与意义构建,多模态话语分析成为语言学研究的新热点。本文以韩礼德的系统功能语言学基础上发展起来的视觉图像语法为理论指导,对浙江工商大学百年校庆标识进行分析,揭示文字、图像等共同作为社会符号的表意功能。
  关键词:多模态 社会符号 浙江工商大学百年校庆标识 表意功能
  
  一、引言
  狭义的社会符号学只把语言看做社会符号,受其影响,传统语法,话语分析和系统功能语言学都是单纯从语言的角度对语篇进行阐释,然而,随着数字化、信息化时代的到来,人们告别了单一的语言交流,表意呈现多样化趋势,传统的话语分析在对语篇尤其是图文并茂的语篇分析时有很大的局限性。多模态话语分析,诞生于上世纪九十年代,将语言符号和非语言符号都纳入到分析框架,对各种意义资源进行了整合,揭示了文字、图像等社会符号共同的表意功能,拓宽了视野。
  二、多模态话语分析
  (一) 多模态的定义
  多模态话语是人类综合运用听觉、视觉、触觉等多种感觉和多种符号资源进行交际的结果。李战子认为,多模态是“除了文本之外,还带有图像、图表等的复合话语,或者说任何由一种以上的符号编码实现意义的文本。”张德禄认为多模态话语为听觉、视觉、触觉等多种感觉,通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。克瑞斯和勒文认为语篇的多模态性是当今世界人们各种交际语篇中的一个重要特征。
  (二)多模态话语的社会符号学分析理论
  系统功能语言学家韩礼德认为语言作为社会符号,有三大元功能,即表述经验事实的概念功能,体现交际参与和交际角色关系的人际功能,以及组织成语篇的语篇功能。克瑞斯和勒文基于图像也是社会符号的观点,将韩礼德的元功能理论延伸到图像这一符号资源上,认为元功能理论是任何符号交际系统所应具备的理论,构建了系统全面的视觉语法分析框架,从再现、互动和构图等方面讨论图像的意义表达方式。
  在功能语法中,语法被定义为制造意义的资源,语言为我们对社会行动的经验和形式的阐释编码。正如韩礼德指出的:“它(语法)是再现经验的模式的手段……它使人类能够建立关于现实的心理图像,并理解发生在他们周围的和自身内部的经验。”因此语法不再是决定对错的一套形式上的规则,而是宽泛地指一种特定模式中元素间的关系的结构,或模式之间的关系结构,这些结构随着时间的流逝而被确立下来。克瑞斯和勒文将语法延伸到视觉模式,他们认为:“正如语言的语法决定词如何组成小句、句子和语篇,视觉语法将描写所描绘的人物、地点和事物如何组成具有不同复杂程度的视觉的‘陈述’。”
  三、 浙江工商大学百年校庆标识释义
  浙江工商大学百年校庆标识
  (一) 再现意义
  功能语法将语义关系分成物质的、行为的、心理的、言语的、关系的和存在的等六类,克瑞斯和勒文则根据图像的特点,将其再现意义区分为叙事的和概念的两大类,在叙事的再现中,又区分了行动的和反应的、以及言语和心理这三个过程,其中行动的和反应的又分别可分为及物的(transactive)和不及物(non-transactive)的。
  克瑞斯和勒文总结的视觉交际中的叙事结构系统
  李战子认为:“在图片中,使图中的元素形成斜线,通常是强烈的对角线,就形成矢量。矢量就是叙事图像的标志(叙事图像相当于一个命题)”。在叙事再现的行动过程中,动作者即为发出矢量的参与者。在图像中,他们通常最为突出。“这可以从尺寸、构图中的位置,与背景的对比、色彩饱和或显著性、聚焦程度、以及‘心理凸显程度’(如人形,尤其是人脸对观看者来说都具有心理凸显性)等方面来判断”。下面我们主要从叙事结构的几个方面来讨论这一标识的再现意义。
  在浙江工商大学百年校庆的标识当中,舞者手舞红色彩带,向读者生动地传达了商大百年校庆这一信息,构成一个动作过程。其中,舞者可以看作是动作者(actor), 红色彩带是目标(goal),舞者的手臂成为一个矢量(vector)。这是一个单向的及物动作,热情洋溢的商大人挥舞彩带,载歌载舞,庆祝母校百年华诞,为她送去最美的祝福。又犹如一个火炬手(actor)托起火炬(goal),走向未来的动作过程,昭示着商大人薪火相传、跨越百年,继往开来,自强不息的精神面貌。第二个人的手臂也构成一个矢量,他追随着前者的脚步,手臂伸向火炬,与其形成强烈的对角线,表达了学校师生共庆,团结和谐,共同托起商大明天的希望。两个人又似乎都将“目光”投向那象征商大生生不息的火炬,表现出人们对校庆这一盛大活动的关注,构成一个反应过程。
  图像中两个人没有矢量连接,构成陪伴情景。
  (二) 互动意义
  在多模态话语中,互动意义与功能语法的人际意义相对应。互动意义的实现主要有四个要素:接触、社会距离、态度和情态。“具体的说,互动意义是关于图像的制作者、图像所表征的事物(包括人)和图像的观看者之问的关系,同时提示观看者对表征事物应持的态度”。本文主要从图像的情态要素出发来分析图像的互动意义。
  “作为互动意义的一个重要组成部分,情态指我们对关注的世界所做出的陈述的真实度和可信度,其体现资源在图像中非常丰富。同在功能语言学中一样,情态被归纳为高、中、低三类。克瑞斯和勒文从色彩饱和度、色彩区分度、色彩调和度、语境化、再现、深度、照明和亮度等八个视觉标记探讨了图像中情态的现实意义量值的高低。
  图片中的彩带选用了具有高区分度,高饱和度的红色,夺人眼球,渲染了商大喜庆的气氛和商大人喜迎校庆的欢乐心情,具有高情态。图中的彩带在亮红的基础上,加入暗红色,深浅有致,忽明忽暗,增加了对比度,深红色与亮红色流动的变化表达出一种动感的韵律和节奏,飘逸的彩带瞬间就在读者眼前舞动了起来,让读者设身处地体会到了百年校庆时的热闹气氛,感同身受,达到了此图的宣传主旨。黑色印刷体1911-2011体现了这一信息的权威性,颇具说服力,不容置疑。
  位于左下方的舞者张开双臂,舞动着彩带向我们走来,表达了一种索求,索求读者参与商大校庆的行动,表达了全校师生欢迎各界来宾的热情,完成了与参与者的互动。
  (三) 构图意义
  功能语法的语篇意义,在多模态话语中体现为构图意义。:信息值、取景和显著性是构图意义的三种资源。
  信息值是通过再现元素在构图中的放置位置实现的、放置在上的信息为理想信息,是作者希望突出和强调的重要信息,放置在下方的为真实信息,是那些为大家熟知的、常识性的、以及具体的细节性信息。红色的飘带被放置在整幅画面的最上方,放置在上方的信息是理想信息,是作者最想突出和强调的信息,显然,百年校庆是作者最想突出的信息。黑色印刷体1911-2011表明了商大百年历史的具体时间跨越。右下方的“百年商大”字样,进一步印证了商大百年校庆这一信息的准确性,是更真实具体的信息。最下方的ZHEJIANG GONGSHANG UNIVERSITY 则将事件的主体具体交待出来,最真实,最准确,读者只有看到这里才能将信息完全的掌握。
  显著性指的是元素吸引观看者注意力的不同程度,可通过被放置在前景或背景,相对尺寸,色调值得对比(或色彩),鲜明度的不同等来实现。图中红色的飘带被放置在最上方,占据整幅画面的二分之一,这样的版面安排使得100年被前景化。惹眼的高亮度大红色,本身区分度就高,特别容易吸引人的眼球。在图片的不同部分中采用同一中颜色或色调,可以协调布局,构建它们之间的一种联系,并且可以制造一种流动的效果。右下方的“百年商大”字样,与彩带之颜色相呼应,同样采用红色这一暖色调,达到了画面的整体和谐。而图中的参与者则采用黑色,红色与黑色形成非常鲜明的色调值对比,增加了色彩的区分度,给读者一种视觉的冲击力。静中有动,合而不同,达到一种最佳的视觉效果。
  取景是通过造成分割线条或实际分割框架的线条,割断或连接图像中的元素。克瑞斯和勒文指出“不相连的成分从某种意义上可以解读为是与总体分离或独立的,甚至可能是作为对立的意义单位;而相连的成分在某种意义上可以解读为是相近的`连续的`或互补的”。通过舞者下方黑色线条的连接,两个参与者被放置在同一个空间角度内,成为两个在行为上有连续性的个体,具体来说,这种连续体现了商大后人追随前人的脚步,继承前人的衣钵,开拓进取,薪火相传的精神,并以此百年校庆庆典为新的起点打造新的辉煌。体现了学校师生聚首商大校园,共谋发展大计,同襄百年盛典,共庆的氛围。
  四、结语
  本文借助了社会符号学理论下的视觉语法框架,将功能语法的概念、人际和语篇意义与图像的再现、互动和构图意义相结合,以浙江工商大学百年校庆标识为例,分析图像、颜色、文字符号等在现代交流中如何相互作用,成功表意。浙江工商大学百年校庆标识采用高情态的自然主义表现手法,结合在接触、社会距离和态度三方面的恰当定位,以及对信息值、显著性和取景的合理安排,共同构建了该语篇丰富的意义。同时我们也由此进一步验证了系统功能语言学理论对分析带有图像的多模态语篇的可行性和可操作性,借以证明语言之外的符号资源也是意义的源泉, 并期望提高读者对于多模态语篇的整体识读能力。
  参考文献
  [1]KRESS,G. & VAN LEEUWEN, T.Reading Images: The Grammar of Visual Design[M]. London: Routledge,1996.
  [2]KRESS,G. & VAN LEEUWEN, T. Multimodal Discourse:The Modes and Media of Contemporary Communication [M].London: Arnold, 2001.
  [3]HALLIDAY, M.A.K. An Introduction to Functional Grammar[M]. London: Arnold, 1985/1994.
  [4]胡壮麟. 社会符号学研究中的多模态化[J].语言教学与研究, 2007(1): 1-9.
  [5]李战子. 多模态话语的社会符号学分析[J].外语研究,2003(5).
  [6]田璐, 刘泽权. 社会符号学视角下的多模态话语分析―――以上海世博会会徽为例[J]燕山大学学报(哲学社会科学版)2008,(3).
  [7]韦琴红. 论多模态话语的整体意义构建[J].天津外国语学院学报, 2008(6): 16-21.
  [8]叶起昌. 超文本多语式的社会符号学分析[J].外语教学与研究2006 ,38( 6): 437一442 .
  [9]曾蕾. 动态多符号语篇的整体意义构建[J].外语艺术教育研究,2006,(3) .
  [10]朱永生. 多模态话语分析的理论基础与研究方法[J].《外语学刊》, 2007年第5期. 2007(5).
  [11]张德禄. 多模态话语理论与现代媒体技术在外语教学中的应用[J].外语教学,2009(4).

文秘写作 期刊发表