您好, 访客   登录/注册

多模态话语的元功能意义分析

来源:用户上传      作者:

  摘 要:多模态话语分析是一种新兴的话语分析方法,认为人类交际是语言、图像、声音等符号共同进行意义构建与传递的过程。电视广告话语具有视觉化和听觉化特征,传统的语言修辞研究无法全面揭示这一话语对意义的构建。本文尝试结合多模态话语分析理论和系统功能语法,对一则电视广告进行元功能意义的研究,旨在关注电视广告中语言与其他模态之间的关系。
  关键词:多模态 广告 元功能 意义
  
  一、引言
  
  单纯从语言角度进行研究已渐渐不能满足话语分析理论的发展要求。如何使用一套能够结合多媒体和多种模态对话语中各种符号元素进行综合分析的理论,成为亟待解决的问题。多模态话语是一种运用听觉、视觉、触觉等多种感觉,通过语言、声音、图像、动作等多种符号资源进行交际的现象。生命科学研究为多模态话语提供了物质证明:生命体在演化过程中先后获得视觉、听觉、触觉、嗅觉及味觉五种不同的感知通道,并分别与视觉、听觉、触觉、嗅觉、味觉模态相对应。
  系统功能语法认为语言同时具有概念、人际及语篇三种元功能,每种功能有相应的意义。视觉语法将系统功能这一理论应用于多模态话语,建立了适用于图像模态的再现、互动及构图意义的分析方法。克瑞斯和勒文(Kress& Leeuwen,1985、1996、2001)将三大元功能扩展至人类一切交际系统,并探寻出视觉图像中对应的表现手法。
  根据感官渠道,模态分为视觉、听觉、触觉、嗅觉、味觉五类,在此基础上综合考虑不同符号又可细分成不同小类。本文将电视广告中的视觉模态分为文字和图像,文字模态又体现为汉字、英文等,图像模态具体到符号层面有:现实存在的事物构成的影像与人工制作的虚幻影像两类。听觉模态分为语音、乐音和声响,声响分为:日常物体发出的声音与人工效果音两类。
  
  二、电视广告话语的意义分析
  
  (一)概念意义分析
  视觉语法将概念意义分为叙事再现意义与概念再现意义,前者相当于纯语言话语中述宾结构的意义类别,后者中某些类别与功能语法的关系过程和存在过程相近。功能语法对及物性的研究涉及小句中的环境成分,推及图像中的环境则为区域环境、手段环境和陪伴环境。
  1.叙事再现
  (1)再现过程
  根据矢量不同,该广告中出现的行为反应分为行动过程及反应过程。行动过程涉及概念“动作”、发出动作的“动作者”及受到动作影响的“目标”。
  
   图1图2
  图2由图1截取所得,为第6秒图像,体现了行动过程。发出动作的参与者为前面的女性(记为女1,下同),她身体前倾的动作和前倾的身体本身同时构成这个矢量,该矢量较特殊,与画面所在的平面形成一定夹角。她微微伸出的两只胳膊也构成了两个矢量,目标即动作对象位于矢量指向的前方。由于前倾的身体或肢体没有触及其他人或事物,即没有别的人或事物直接接受该行为,故该行为的目标此时尚待确定。但不同于仅有动作,没有动作接受者。图3是0秒时的图像,图中行驶的白色列车体现了不及物的行动过程。这类似于语言中的不及物动词,列车行驶没有行动的目标对象,既没有其他人或物对其发出行动,也不对其他人或物发出动作。
  
  图3:第0秒图片
  
   图4:第10秒图片
  反应过程与行动过程的区别在于矢量表现为参与者目光的方向。图2中有反应过程,女1仍是发出反应的参与者,她将目光投向左前方不远处。结合图1可知她的目光正投向位于画面中心位置那个男青年(记为男1,下同)手里的口香糖。如果说她的行为过程只是反应其关注对象的方位在前方,那么她的反应过程则准确定位了其关注焦点。即当主体同时具有这两种再现过程时,反应过程的分析有助于进一步明确行动过程的接受参与者。同时,图2中后面一个年轻女性(记为女2,下同)也具有反应过程。她的眼睛直视左前方位置,投向画面中心的两个男青年(分别记为男1、男2,下同)。
  (2)再现环境
  仍以图1为例,环境包括区域环境与陪伴环境。区域环境需要前景与背景的照应或对比,画面表现的纵深距离中,离观看者较近的为前景,较远的为背景。人、物的位置、大小、清晰度等也是重要的参考因素。图1的前景人物主要是三个人,男1及身后的女1、男2,其他人物属于背景。相对而言,前面三个人处于画面中的前排、中心位置,且在画面中所占面积比较大。在图2中几乎露出整张脸的女2,尽管也属于背景部分,但相对于后面更远的其他人来说近一些,而且露出的脸部位于离画面中心较近的位置。至于其他人物,以及过道、座位、行李架等无论是所处画面位置、所占面积,还是聚焦清晰度,均体现出背景特征。
  陪伴环境中的参与者相互独立,之间没有矢量连接。图1前景的三个人中,男2将手搭在男1肩膀上,两只手臂构成两个矢量;目光投向他手中的口香糖,目光构成一个矢量;女1与男1之间也存在反应过程矢量。女1与男2之间则既无相互动作,也无目光交流,两者相互独立,之间不存在矢量连接,固为对方的陪伴环境。
  2.概念再现
  (1)分类过程与时间过程
  分类过程中,至少一组参与者从属于另外的参与者。图4中,两对相拥的年轻人是“中国年轻人”的从属,他们处在一个火车站台背景上,之间基本呈对称、相似的分布。人物呈现对称、相似的分布,属于分类过程。“中国年轻人”是处于上位概念的参与者,这一大的、总的类别没有出现,属于隐性分类过程。分析过程中的参与者是部分-整体关系,“总体”为承载者,“部分”为任何数量的特征。分析过程包括时间性及非结构性的,前者将历史表现为固定而连续的几个阶段;后者只出现承载者特征,即“部分”,不出现“总体”。这与隐性分类在概念上有一定重合。从逻辑上说,“部分-整体”的关系是“一组参与者从属于另外的参与者”的另一种描述。更为合理的划分是将重合部分,即“一组参与者从属于另外的参与者”的情况归为分类过程,时间性分析过程称为“时间过程”。图4中,相拥的年轻人是部分,中国年轻人是整体,前者出现,后者未出现,属于隐性分类过程。
  (2)象征过程与提示性图像
  象征过程表明参与者是什么,用承载者与象征属性表示。当象征属性不出现时,属于象征暗示,在广告中表现为不时出现并时而游离于故事情节的那片薄荷叶子。通过对叶子色彩、形状、细节等方面的调整,使其较日常薄荷叶片更为理想化;在画面中出现及运动的方式也不同于日常叶片,使其具有某种抽象特征。象征暗示中的承载者自身即具有某种意义。该广告中的薄荷叶片属于象征暗示,薄荷叶子具有清新凉爽的薄荷味道,“清新”这一抽象特征是其自身具有的联想含义,价值来自叶子自身。
  综合框架理论认为,当承载者与象征属性均出现时,具有几个特点:第一,作为意义表示的参与者在图像中较显著,这通过位置(前景)、尺寸(较大)、光线(明亮)、色彩(醒目)、细节(丰富)等手法展现;第二,整体环境中显得突出;第三,象征含义与传统观念相关,便于理解。事实上,这几个特点在象征暗示中同样存在,这则广告中的那片薄荷叶子尽管出现于画面之中,但总是游离于情节之外,且突出于画面的整体氛围,处于前景,光线明亮,色彩鲜艳。薄荷叶子自身具有与之相关的“清新”含义。
  这种游离于主体情节画面之外的图形为“提示性图像”,作用类似于语言中的外位结构,作为句子整体结构之外的成分,语法分析时不参与句子主体的结构分析,如英语中的插入语:
  He, I think, will become one of the most famous scientists one day.
   插入语
  
  “I think”是插入语,去掉之后不改变句子含义。句法分析中通常去掉插入语,仅分析句子主体“He will become one of the most famous scientists one day”。叶片在画面中的运动方式是不固定的,仿佛稍纵即逝,却又不时出现,称为“走马灯技法”。一些网页上常常使用类似技法,使小幅图片广告、符号、标志等“漂浮”于网页画面中、网页主体之外,造成突出效果。
  (二)人际意义分析
  1.距离分析
  日常交际中,约定俗成的常规决定了人们彼此之间的距离:一般关系越密切,距离越近;距离越远,关系越松弛。站在交际者一方,将另一方交际者在视野中的情形表现为图像,这时图像人物的大小表现为观看者可能十分靠近画面中的人或事物,也可能被拒于千里之外。按画面呈现的内容多少,距离分为几种:(1)亲近距离:只呈现脸部或头部;(2)个人距离:分为个人近距离和个人远距离,前者呈现头部或肩部,后者至腰部以上;(3)社会距离:分为社会近距离和社会远距离,前者展现整个人,后者除了整个人之外还有周围的空间;(4)公共距离:展现四至五个人。
  
  图5:第3秒图片
  
  图6:第7秒图片
  以主要人物图片为例,图5展现了男1腰部以上部位,属于个人远距离。图2是从图1中截取出来的,但作为一张独立的图片,展现了女1腰部以上部位,也属于个人远距离。图2和图4均展现了多个人,属于公共距离。图6的展现内容主要为很多只手,观看者感觉上十分靠近这些手,属于亲近距离。
  2.接触分析
  套用功能语法的术语“提供”(指提供信息或服务)和“索取”(指索取信息或服务),画面中的人物与观看者目光的连接,叫做“接触”;索取什么的信息通过人物的表情、神态与姿势透露。这则广告中的人物没有直视观看者,与观众没有接触。
  3.视角分析
  观看者对画面内容观看的角度构成了视角系统,仰视、平视或俯视这些不同的视角使观众产生对内容中事物不同的权势,这与日常经验的感知相似。俯视的角度从垂直俯视到略微俯视也各有不同,并表现不同的权势。在表现广阔的远景时,往往含有俯视的视角。从这则广告切分所得的图片除0秒时为俯视,其他均为平视,体现一种平等、自然的权势。同时,尽管0秒时的视角为俯视,但远景的表现方式冲淡了俯视带来的权势压迫感。因此,视角方面与其他方面如距离等共同传达互动意义,应结合起来加以分析。
  4.情态分析
  视觉情态有三种程度:(1)高情态:图像色彩饱和度高,呈自然主义风格;(2)中情态:图像色彩不太饱和,呈类似于水粉的风格;(3)低情态:图像呈现黑白调。通常自然主义情态下,色彩越少,情态越低,真实度越低。以这则广告为例,色彩属于自然主义风格,饱和度高,因此属于自然主义情态下的中等情态,具有中等真实度。
  与色彩饱和度相关的一个概念是编码取向,指话语由一定的社会群体编码,或在一定体制情景中编码,这些都导致了编码时的原则。克瑞斯和勒文从编码取向角度区分出四类不同社会群体编码的话语:技术性编码取向、感官性编码取向、抽象性编码取向和常识性自然主义编码取向。其中常识性自然主义编码取向在社会中占主导,也是这则广告使用的编码倾向。
  (三)语篇意义分析
  视觉语法中的语篇意义包括信息值分析、取景分析及显著性分析。
  1.信息值分析
  信息值通过元素在构图中的位置实现,元素被安排于左、右、上、下等部位体现了不同含义的信息值。图5是广告第3秒时的图片,图7是第5秒时的图片。两者对比发现,第3秒先出现的男1在第4秒时位于图片偏左位置,而后出现的其他人位于右边位置。这是“左旧右新”规则的体现:对于观众来说,先出现的男1属于已知信息,位于左边;而其他人如女1,属于新信息,位于右边。图8是广告第15秒时的图片,主要分为上下两部分:上方为绿箭商标,同时也是图片纵向的中心;下方为广告宣传语及系列产品。这是视觉语法中“上虚下实”规则的体现。商标或图表置于上方,是“理想的”元素,传达的信息较理想、概括,也最显著;宣传语及系列产品置于下方,是“真实的”元素,传达更为特定、实际的信息。
  
  图7:第5秒图片
  
  图8:第15秒图片
  2.取景分析
  取景即图像中造成分隔线条,在画面中割断或连接了图像中的元素,表示这些元素在某种意义上属于或不属于一体。图9是第9秒广告时的图片,展现了众多年轻人在站台上拥抱的场景。停在一旁的火车提供了连接这些人物的线条(用红线标注),表示他们在“带来清新”与“亲近”方面相同,都属于这一具有亲和力、积极的环境,造成了连接式取景效果。
  
  图9:第9秒图片的取景
  3.显著性分析
  显著性指元素通过位于前景或背景、尺寸大小、色彩对比等吸引观看者注意力的不同程度。综合以上分析过的图片可知,男1在较多图片中显著性较高。在图5、图1、图4及图7中,男1均位于前景位置,鲜明的绿色与周围灰、米等色为主的环境形成对比,且尺寸较大。图6中口香糖的显著性较高,位于前景,且鲜明的绿色与周围手的肉色形成对比。
  
  三、结语
  
  以上介绍了系统功能语法中的元功能理论在多模态理论中的改造和运用,并结合一例电视广告进行了具体实践。通过分析可以发现,电视广告中,语言具有的元功能意义在非语言模态中均得到相应体现,说明语言符号的这一特征广泛存在于各种符号中,并以类似的表达方式呈现;同时也从理论上证实了电视广告这一话可以语通过语言和非语言模态的配合来建构意义。
  
  参考文献:
  [1]冯丙奇.视觉修辞理论的开创[J].北京理工大学学报,2003,(6).
  [2]胡壮麟.社会符号学研究中的多模态化[J].语言教学与研究,2007,
  (1).
  [3]李战子.多模式话语的社会符号学分析[J].外语研究,2003,(5).
  [4]张德禄.多模态话语分析综合理论框架探索[J].中国外语,2009,
  (1).
  [5]朱永生.多模态话语分析的理论基础与研究方法[J].外语学刊,
  2007,(5).
  (钱韵然南京师范大学文学院210019)

“本文中所涉及到的图表、公式、注解等请以PDF格式阅读”
转载注明来源:https://www.xzbu.com/4/view-11569669.htm