多模态视角下的话语感知
作者 : 未知

  摘 要:近年来对语言的研究“自我”的因素越来越备受重视,也就是个体的大脑运作机制和感知生成机制对语言运用的影响、阐释心智运作与语言生成机制的关系。同时“心智哲学”也强调语言的体验性,即在体验的基础上意义是如何构建的。人们对世界的感知是多种模态的,是集视觉、嗅觉、味觉、听觉、触觉为一体全方位的感知,对多模态的话语分析近年来也成为语言学的研究焦点,这方面的研究主要集中于电影、电视和海报等文本研究层面。本文是在认知科学理论上发展起来的知觉符号理论为依据,对多模态的语言感知进行浅析。
  关键词:不同模态;感知;知觉符号理论
  本文获得三峡大学研究生科研创新基金资助(项目编号2011CX090)
  
  一、引言
  上世纪80年代为解决身心二元对立问题,“心智哲学”应运而生,它的基本观点有三点:心智的体验性、认知的无意识性、思维的隐喻性。心智哲学认为人的心智活动如范畴、概念、推理等并不是客观的、镜像的反映外部现实,这些是由我们的身体经验形成的,尤其是由感觉运动系统生成的。“依照体验哲学,认知科学被分为第一代认知科学和第二代认知科学,第二代认知科学认为认知是一种生物学现象,具有体验性,它与身体的其他系统共同进化,源于人类与环境的交互作用方式。知觉符号理论在此基础上应运而生。知觉符号理论认为内在符号与外在物体原型之间的关系是类似的、知觉的。”(王&莫,2010)知觉符号是多模态的,它的形成不仅可以通过视觉的感知,还可以在其他感觉通道和内省中进行。
  多模态话语指运用听觉、视觉、触觉、味觉、嗅觉等多种感知器官,通过语言、图像、声音、动作等多种手段进行系统交际的现象(张德鲁,2009)。这种现象在海报、广告、电视节目上等用得比较多,对此的研究是以韩礼德的系统功能语法以及克瑞斯和勒文(2001)提出的视觉语法为理论依据,克瑞斯和勒文认为多模态就是运用几种符号学模态(semiotic modes),或综合使用若干符号学模态来强化同种意义的表达,或行使补充功能,或进行有层次的排列(谢竞贤,2011)。也有从认知隐喻、转喻角度对多模态做出分析研究的。其实现实生活中的很多口头或书面话语也可以通过不同模态进行感知和理解,本文以感知符号理论为依据来研究多模态话语感知。
  二、多模态的语言感知
  人们对世界万物的感知具有多模态性。不同模态接受的感知以不同的方式储存在大脑里。多模态话语感知的研究目是探讨不同模态对话语意义的产生有何作用以及模态之间是如何互动产生意义的。
  对多模态的研究主要有两大派,第一是以系统功能语言学理论为基础从功能角度来研究,主要目的是探讨语言的社会实在意义。第二是以认知语言学为理论基础的,从隐喻、转喻角度剖析多模态的认知现象(潘艳艳,2011)。本文也是从认知角度对多模态的研究,基于知觉符号理论对话语感知时产生的知觉仿真所涉及的不同模态的研究以及它们之间的互动,从而更好的理解话语含义。
  三、知觉符号系统下的多模态分析
  命题符号理论曾在认知科学领域对知识的表征给出了很好的的解释,但是这个理论有很大的局限性,不能解释所有的语言现象。受哲学思想的熏陶,巴萨卢于1999年提出了知觉符号理论,他主张认知在本质上是知觉性的,对外界刺激无意识的神经表征和有选择的意识经验都是知觉状态,知觉状态出现时,其中一些会通过选择性注意被提取并成为知觉记忆的一部分,当再次激活时,这种记忆以符号的形式代表外界事物(朱钗,2009)。知觉符号系统不仅通过视觉感官来获得,也可以通过其他感官和体验来获得,它是多模态的感知。
  1.知觉符号理论的主要特征
  认知心理学家巴萨卢提出了知觉符号理论的六个核心特征:(1)知觉符号是感觉运动系统的神经表征,在知觉过程中,感觉运动区域的神经系统从外界环境和自身知觉中获取信息,知觉符号就是对知觉引起的神经冲动的一次记录。(2)知觉符号是图解式的信息表征。人们对事物的感知是具有选择性的,从不同的视角出发,对事物的表层认知加工结构的凸显重点就会有所不同,这造成知觉符号中的信息分离,以图解的形式构成对信息的表征。(3)对知觉符号的感知不是单模态的,而是多模态的。虽然视觉感知是最重要的渠道,但是其他感觉器官和内省在其中也起到举足轻重的作用。(4)知觉符号在长时记忆里会组成一个仿真器,认知系统能够在客体不在眼前时,仍然能够构建对客体具体的仿真,这种仿真也是多模态的。(5)知觉符号理论认为,对某一类事物或事件的空间和内容信息的感知会形成框架式的表征,因此在仿真的过程中,会形成整合的知觉符号系统。(王瑞明&莫雷,2010)
  2.不同模态的语言感知具有选择性
  认知心理学一个公认的假设是:选择性注意会分离知觉中的信息,然后将分离的信息储存于长时记忆中。(王&莫&李,2005)这就是说在知觉过程中,感知主体会不自然的注意到物体某一方面可能是颜色、性状、声音、气味、大小等与它相关的特征。这一方面一旦被选择,很有可能会储存于长时记忆力。第一次对事物的感知并不是完整的,但会随着感知经验的增加,通过有选择性的对新的感知符号的识别不断丰富感知对象的心理表征和概念整合。
  3.不同模态感知下的知觉仿真
  在长时记忆中知觉符号不是彼此分离的,相互之间有联系的符号会组成一个仿真器,仿真器内的知觉符号包含各种模态有听觉的、视觉的、嗅觉的、味觉的、触觉的,认知系统可以在认知对象不在面前时仍能建构出对它们各种模态下的感知和仿真。例如:广寒香一点,吹得满山开。(南宋?杨万里《咏桂》)通过不同模态的感知经验,获得对桂花不同部分、不同方位的空间整合并储存于长时记忆力。当桂花不在面前对桂花进行仿真时,主体通过视觉和嗅觉对桂花的香味和桂花的颜色、大小、形状以及它的枝和叶进行知觉仿真,但由于知觉符号的选择性和主体的多样性,被仿真的桂花可能在某一模态上有侧重。
  这和尚国文(2011)所持的感知加工“在线”(on-line)操作和认知加工“离线”(off-line)操作观点很相似。他认为如果感知的对象此时此刻不在眼前,人们仍然可以提取储存在大脑里的抽象概念范畴来表征,而不必每次都要接触实实在在的物体、事件进行一系列的感知体验。如果说的人的经验有直接经验和间接经验的话,那么感知也可以根据在线和离线而分为直接感知和间接感知。间接感知是以直接感知为基础的,这符合人类认知规律的经济性和关联理论的最大关联效果。但是对于一个从来没见过桂花的人来说,无论怎么描述他的脑海里怎么也不会形成一个整体的表征。
  这里以“这个冬天是个暖冬,很有春天的感觉。”这句话为例,来描绘一下多模态的话语感知(图1)。
  对这句话的感知可以是身体触觉上的,暖暖的阳光洒在身体上感到很温暖,这就是触觉仿真;也可以是视觉上的,阳光明媚,空气清新,这是视觉仿真;当然也可以是听觉上的感知,听到鸟儿的鸣叫等,这是听觉仿真;也可以是嗅觉的味道,有些春天开的花儿竟然提前开放,散发着阵阵清香,这时嗅觉仿真;当然也可以是几个感官同时感知,它们相互作用,共同形成了与春天特征有很大相似性的知觉符号,激活了储存在头脑中长时记忆的春天的意象,同时这些多模态符号通过整合,形成抽象的心理表征,进而转换生成语言符号,语言符号也可以反过来指称这种现象,这句具有多种模态感知的话语就产生了。
  四、结言
  人们对世界的感知主要是通过五个重要的感觉器官:视觉、听觉、嗅觉、味觉、触觉(有感知障碍的人除外),大部分的感知经验都是以这五个器官为渠道的,感知是认知的基础,因此对不同模态的研究对认知起到至关重要的作用。对多模态的研究成果很不少,但是从知觉符号理论角度基本上没有。本文基于知觉符号理论,研究不同模态下的话语感知,研究了不同模态下语言感知的选择性和知觉仿真,进而了解人们在感知事物时的认知机制、感知符号的整合加工过程以及语言符号的转换生成过程。
  
  参考文献
  [1]Barasalou, L. W. Perceptual Symbol System.[J]. Behavioral and Brain Science, 1999, 22:577-660.
  [2] Kress, Gunther & Van Leeuwen, Theo. Mutimodal Discourse: The Modes and Media of Comtemporary Communication [M]. London: Hodder Arnold, 2001.
  [3]潘艳艳.政治漫画中的多模态隐喻及身份构建[J]. 外语研究, 2011.
  [4] 尚国文. 语言理解的感知基础[J]. 外语学刊,2010 (4): 8-13.

文秘写作 期刊发表