学苑 | 赵秀凤:多模态反讽与概念隐/转喻的互动整合—

您的位置：网站首页 行业动态 学苑 | 赵秀凤:多模态反讽与概念隐/转喻的互动整合——以图文反讽为例

学苑 | 赵秀凤:多模态反讽与概念隐/转喻的互动整合——以图文反讽为例

阅读量：3821252 2019-10-26

点击上方“语言服务” 可以订阅

本文已同步至微信读书App
搜索“语言服务”
听一听
解放眼睛
体验别致的有声阅读

多模态反讽与概念隐/转喻的互动整合——以图文反讽为例
赵秀凤中国石油大学（北京）外国语学院
本文为国家社科基金项目“基于语料库的英汉反讽对比研究”（项目编号:15BYY015）的阶段性研究成果。
摘要
随着反讽研究的不断深入,研究者开始关注反讽的多模态性。然而,迄今为止,对多模态反讽的探讨还主要聚焦于会话反讽的多模态标记方式及其对反讽识别的影响。对于图文类多模态话语中反讽的建构方式、加工机制、表征类型等还缺乏系统研究。本文基于认知语言学理论,构建一个融转喻、隐喻、微型叙事于一体的在线整合模型。该模型充分考虑了以图像为主的多模态反讽特点,接近该类反讽的认知加工现实,具有很强的认知阐释力。此外,本文还构建了多模态反讽的冲突表征系统,结合实例,区分阐释了不同表征类型。通过建立系统的图文多模态反讽框架,以期推动多模态反讽的在线认知研究。
关键词
多模态；反讽；隐喻
1引言
近年来,反讽引起了认知科学、认知语言学和认知心理学的研究兴趣(Gibbs 1986; Gibbs & O’Brien 1991; Pexman 2008;文旭 2004;张萌 2010;赵虹 2013),认为反讽不仅是一种语言现象,而是一种思维方式,“是人类通过某事物的反面来理解该事物的方式”(黄缅 2012: 19)。反讽的认知研究开辟了一种新的研究范式,扭转了反讽的装饰性修辞地位,加深了我们对反讽现象的理解。
但是,反讽的认知研究主要集中于言语反讽(verbalirony),对于非语言或多模态反讽的研究近几年才刚刚兴起,而且主要聚焦于互动交谈中反讽的多模态实现或标记方式,探讨手势、面部表情、其他非言语成分如声音语调、音韵特征等如何标记或指引对反讽的识别和理解(Attardo 2000; Attardo et al. 2003; Nuolijarvi & Tiittula 2011)。这些多模态反讽研究普遍采用实证方式,考察特定多模态标记对解读者心理加工的影响。对于反讽这一思维方式如何与其他认知加工机制如概念隐喻、概念转喻交互作用,在线加工生成和理解反讽意义,尚无系统阐述。
本文聚焦图文类反讽,基于认知语言学的概念隐喻、转喻和概念整合理论,考察图文类多模态话语如何发挥多模态概念隐喻、转喻及微叙事等认知机制,构建反讽意义,以独特的方式,实现话语交际功能。
2
多模态反讽的界定和认知本质
2.1 多模态反讽的界定
关于反讽的定义,尽管具体表述众说不一(Gibbs & Colston 2007:584),但是,基本认识是一致的:1)深层结构隐含某种对立或矛盾;2)具有强烈的评价意义;3)产出和理解都需依赖语境,需借助交际双方的共享背景知识(Burgers et al. 2011: 188; 曾衍桃 2004: 6)。其中第一条“隐含对立或矛盾”是构成反讽的区别性特征,当然这种对立或矛盾可能体现为语境与话语之间、期待与现实之间、话语内部成分之间的冲突或不相容。在言语反讽中,反讽的意图意是隐性的,只能通过表层意推导出来,与表层意之间的关系是非此即彼的,但是,在多模态话语中,两者之间的关系往往不是非此即彼的关系,而是有可能两种意义分别由不同模态表征,构成张力或悖论。不同模态的共时性和交互性致使两种意义并存,消解了张力(tension)和悖论(paradox)之间的界限(倪爱珍 2015:118)。而且,常规言语反讽通常不包括情景反讽,即现实结果与期待相反的情况,而在多模态话语中,情景反讽是常态,据此,本文把多模态反讽界定为由两种及以上模态共同参与构建的同时存在两种相互冲突意义的现象。较言语反讽,这一界定更加宽泛,符合多模态话语反讽的实际。
2.2 反讽的认知本质
早在20世纪70年代,Booth(1974)就用“认知失谐”(cognitive dissonance)论及反讽的认知特质,之后,越来越多的学者认识到反讽不仅是修辞和语用现象,更是一种认知思维方式(参照Burgers et al. 2011),无论其生成心理动机还是理解过程都涉及复杂的认知推导(Sperber & Wilson 1981; Clark & Gerrig 1984; Sperber & Wilson 1998; Gibbs & O’Brien 1991)。
从本质上来说,反讽思维依赖的是人的基本认知能力——对比联想。人们运用逆向思维,传达对世界种种矛盾和对立的认识(涂靖 2004:7),正是反讽的妙用所在。把反讽提升到人类的认知能力和思维能力的高度,理清其实质是人类通过某事物的反面来理解或构建该事物的方式(黄缅 2012:18),有助于开拓反讽研究的新思路。
与多模态隐喻研究的逻辑进路一样(赵秀凤 2011, 2013;赵秀凤、冯德正 2017;赵秀凤、张卉 2013),既然反讽是一种思维方式,那么,其体现方式就不只局限于语言文字,对于反讽的研究也应摆脱语言的藩篱,考察多模态话语中的反讽实现方式,可能会揭示不同于言语反讽的独特规律,使我们对反讽的认识更加全面深刻。
2.3 多模态反讽的认知机制
关于反讽的生成和理解过程,多数学者侧重反讽认知的影响因素和语用策略,如Sperber & Wilson(1981,1998)的“回声论”(echo theory)和Clark & Gerrig(1984)的“伪装论”(pretense theory)。即使以Giora(1997, 1998, 1999)为代表的实证研究也是为了验证反讽处理的某些假说,主旨也是理清影响反讽理解的语用语境因素或限制和诱发条件。尽管这些研究从外围的角度宏观上揭示了反讽生成和理解的认知规律,但是,对于话语实践中反讽的在线加工机制还缺乏系统的理论阐释。
在这一方面,曾衍桃(2006)、龙德银(2013)、孙毅、呼云婷(2016)、Tobin & Israel(2012)等进行了大胆探索,分别提出了反讽的概念转喻观、概念隐喻观和概念整合观。
曾衍桃(2006)和龙德银(2013)认为反讽从本质上来说是一种认知转喻,同一语义域内部的两个相对的语义值(p, -p)反向相邻,产生投射。反讽“涉及到的是整体的部分之间相互转换而产生的转喻”、“概念转喻是反语意义发生转移的心理必经之路”(龙德银 2013:143)。如:
(1)你好,你当然好了。尽给我们帮倒忙,你可是咱们这儿的活雷锋啊。(转引自龙德银 2013:141)
“好”与“不好”是人品评价尺度上的相对立的两端,是同一认知域中的两个次范畴,具有反向相邻性,这就构成了反讽转喻的基础,也是反讽思维的基本认知机制(龙德银 2013)。该阐释接近反讽作为对比联想思维方式的实际,具有一定的理论价值。但是,反讽不是一种简单的对立现象,转喻可能只是其认知加工机制中的一种。
孙毅、呼云婷(2016: 70)把反讽(反语)看作隐喻的一个特例和子项,认为反讽是隐喻现象,“涉及同一个认知域(范畴)下的两个次认知域(范畴)间的投射”。从认知范畴观来看,反讽的核心语义特征——语义的二元对立性或多元反差性,是语义不一致(incongruity)的子范畴。语义冲突或错置又是隐喻的基本特征,从这一角度分析,语义不一致范畴内的极端现象——语义相反也可以隶属于隐喻。但隐喻的核心特征跨域映射在这里不具备典型性。因此,有必要把隐喻与反讽区别对待。上述研究视反讽为思维现象和认知现象,在概念隐喻或概念转喻机制下考察反讽的认知本质,开拓了反讽研究的新思路。但是,在真实话语实践中,反讽的认知操作更为复杂和多维,我们认为不便把反讽简单纳入转喻和隐喻范畴。
Tobin & Israel(2012)另辟蹊径,把反讽界定为“视角”现象,运用心理空间和概念整合理论(Fauconnier 1985, 1997),重构了反讽的在线加工过程。他们认为,反讽意义来自于虚拟空间义素和真实空间义素之间的投射冲突,这种冲突又根植于视角心理空间的冲突。同样,Scott(2004: 39)也把反讽视为“双视角”现象,认为反讽生成的基础是对常规视角的故意扭曲或偏离。
概念合成说把反讽的语义对立或反差归结为视角空间冲突,冲突诱发认知主体在线构建临时合成空间,生成层创结构,为冲突找到一个合理的解释和推理。这一理论模型能够更全面地阐释反讽在话语交际中的动态构建过程,更符合认知现实。但是,仅凭言语反讽得出的整合模型,尚无法充分揭示图文反讽的独特规律。
我们基于大量语料观察,对反讽的概念整合模型进行进一步细化和修订,提出了一个基于概念隐/转喻的整合模型。该模型强调概念转喻、隐喻和微叙事在反讽生成和理解过程中的动态交互作用。

在多模态话语中,视觉图像、手势和声音等非语言模态在建构意义的过程中体现为多模态转喻,这构成了反讽意义构建的第一步(输入空间1)。本文关注图文静态类反讽,从本质上来说图像中的所有表征形式首先是转喻的:第一步,用图像符号指涉客观事物,实现指涉转喻。视觉图像对现实的表征总是“部分代整体”,因此,指涉转喻是任何图像意义包括反讽意义构建的第一步。第二步,用图像符号形式代表符号意义,完成符号转喻,“图像形式与意义之间的关系是基于人类认知模型中相关范畴的转喻映射”传达评价意义(冯德正、赵秀凤 2017:9)。第三步,用图像意义A代表图像意义B,该过程是在同一个理想认知模型(Idealized Cognitive Model, ICM, Lakoff 1987: 68)内部,用一个范畴激活另一个范畴的认知过程(冯德正、赵秀凤 2017:9)。该类激活当然包括评价意义的不兼容性或对立性,也是反讽的核心语义特征。这三类转喻构成一个层级性互动关系,也是反讽认知操作的基础。在图文多模态反讽中,图像符号往往体现为一个转喻场景(scenario):即多个图像成分相互作用,编织出一个微叙事场景。我们以图2为例,阐释这一动态整合过程。

视觉图像中的餐桌、餐具(汤匙、叉子)及其摆放的形式以转喻的形式构建出一个微型叙事——用餐场景(激活用餐者和食物等场景成分)。内嵌于图像中的文字符号“ENJOY THE TASTE OF”,也通过转喻机制,突显“美食”带来的快乐感受。这些构成了输入空间1。
图像中央的烟灰、烟蒂也以转喻的形式,构建出另外一个微型叙事——吸烟场景。而烟灰、烟蒂所在的位置本该为输入空间1内用餐场景内的食物,以目标域出现在源域语境的方式构建出一个隐喻“香烟是(吸烟者的)食物”,又与红色文字“DEATH”协同构建出多模态隐喻“香烟是死亡”。整幅图像的黑色作为常规颜色隐喻,也进一步加强了关于“死亡”场景的感知和解读。输入空间2内的吸烟场景、死亡场景与输入空间1内的用餐场景形成强烈反差。
两个输入空间共享类属空间结构:“行为导致结果”或“动机推动行为”。但是,输入空间1的用餐行为是为了“生命的延续”,是“向生而行”,而输入空间2的吸烟行为是“向死而行”,导致生命的终结。“生与死”位于生命延续体的两端,语义值明显相对。读者作为认知主体会把输入空间1作为一个反向对比的参照点(R: reference),从两个输入空间内有选择的投射入合成空间,推导出生产者隐含的“戒烟”的交际意图。在层创结构中,多种关键关系(vital relations)被压缩,如,“吸烟”这一慢性动作导致的结果,在时间和致使关系上进行了压缩,吸烟者与品尝食物者在身份上进行了压缩,致使关系或行为目的关系的冲突性得到临时解释——反讽交际意图。如上例所示,该反讽模型突出了多模态转喻、隐喻和微叙事的动态交互作用,解读者在多种模态的指示下,进行层层推延、压缩、整合,推导出话语生产者的反讽意图。
3
多模态反讽的对立表征系统
如上所述,反讽的核心构成性特征是语义对立或冲突。我们在考察大量话语实践的基础上,结合社会符号学的基本理论,构建出图文类多模态反讽的冲突表征系统:

反讽的语义冲突可能产生于话语内部,也可能产生于话语与语境之间。就图文多模态反讽而言,多数冲突产生于多模态话语内部。这又进一步分为模态内冲突和模态间冲突。模态内冲突指单一模态内部或双模态内部都存在冲突。模态间冲突指不同模态之间的否定和消解构成的冲突。有时,话语与语境之间的不匹配或违反常规也会制造冲突,产生反讽。下面我们分别举例说明。
图2属于典型的双模态内冲突:图像与文字内部各自含有不兼容成分。图像内部死亡场景被植入用餐场景框架之内,生与死相对;文字上,ENJOY THE TASTE OF 与 DEATH搭配明显违背常规,动宾语义相悖,构成一种对峙。图像与文字相互印证,突显反讽的语义对立。但是,有时冲突只存在单一模态内部,其余模态符合常规,如图4:

这是著名战地摄影记者菲利普·琼斯·格里菲斯(Philip Jones Griffiths)的摄影作品。图像表征的场景明显违背常规:背景中的妇女正在修整草坪,用这一典型动作转喻安宁的日常家庭生活,但是,前景中有一名士兵正持枪核弹,高度警惕地把枪口对准画外。战争元素与家庭生活元素形成强烈对比和反差。图像内部元素之间的矛盾和对立隐喻文明与人性、战争与生活之间的矛盾和对立。摄影师把这种矛盾与对立编织为一个虚拟的微叙事,把抽象的生活悖论用隐喻场景(metaphor scenario)的形式形象地构建了出来。从模态表征来看,该类反讽主要由视觉图像实现,所配的文字标题“Mowing the lawn”只起辅助作用。有时图像内部与文字内部在一般意义上并无异样,语义矛盾和冲突来自于符号之间的张力或否定。如图5。

“Thanks that you took care of the dirty dishes．”
这是传统言语反讽研究中经常列举的反讽现象:真实情景是杯盘狼藉,而所配的文字是“感谢你收拾了餐具”。图像表征的真实情景与文字语义之间具有否定与排斥关系,构成模态间冲突。这一模态间反讽策略也经常被用于多模态广告话语中,如图6的“高露洁牙膏广告”。

文字用醒目的白色字体“Colgate”、红色背景和“strong teeth”的大面积重复排列,构建出多模态基础隐喻“功效/作用大是数量多”,符合常规商品广告的一般语类特征,用直白的文字突显高露洁牙膏强固牙齿的效果。而图像中的老人,牙齿已经全部脱落,且位于前景,与解读者近距离“接触”。单从图像本身来看,并无异样。但是,在该语境中,图像可以说是对文字意义的消解或否定。当然,这种张力会在整合的过程中得以释放——该老人如果早使用高露洁,就不会落入如此境况。这种跨模态冲突构建的反讽具有更强烈的震撼性,能更好地吸引读者的注意力、增强愉悦感(Stern 1990),加强广告的劝说功能(Alrasheedi 2014)。该广告虽然启用了常规广告策略——问题—解决或预防策略,但是,在表征结构上运用图像与文字之间的张力制造冲击力,产生不同凡响的广告效果。

以上所列主要为话语内部成分之间的语义冲突,还有一种体现为话语与语境之间的冲突,即话语与其使用语境之间的不匹配或不兼容。如图7。
该例中右侧的大广告牌写着“NEXT TIME, TRY THE TRAIN. RELAX”(下次乘坐火车。保准舒适惬意),视觉呈现了一个乘客,背靠沙发椅,惬意舒适的景象。而该广告牌被立于一条土路旁边,路上背向读者的两个人,背负和手提着笨重的行李箱,艰难行走。广告牌所刻画勾勒的惬意生活与现实语境中的艰辛构成强烈对比。这种语境的措置构成张力,传达明显的反讽意图,折射出话语生产者对阶层、贫富差距等社会不公平现象的严厉批判。图8也是启用该类不兼容策略创建的反讽多模态话语。

该例中,文字“Non smoking area”本该出现在机场等公共场所,这属于其文化规约类语境特征。但是,该例中,这一文字被置于墓地之中,指涉其中的一块空地,明显违背常规。通过话语与情景语境之间的明显错位,激活对交际反讽意的推导,以震撼的方式完成劝诫功能。
以上对图文反讽的冲突表征类型进行了举例说明,有一点需要明确,无论哪种类型的冲突,其识别或理解都必须依赖共享认知语境(cognitive environment)或常规图式框架;其中的转喻、隐喻和微叙事之间的互动也必须依赖已有的背景知识和认知能力,才能得以推延整合,产生反讽意义。
4
结语
作为一种使用非常广泛的话语交际形式,多模态反讽在建构方式、表征类型和交际策略等方面都与言语反讽存在很多差异,都需要系统的理论探讨。本文根据图文类反讽话语的特征,构建出一个融转喻、隐喻、微叙事于一体的在线整合模型,并结合社会符号学的基本理论,构建了该类反讽的对立表征系统。我们提出的整合模型综合了多种认知机制的动态交互,充分考虑了以图像为主的多模态反讽的特点——依赖概念转喻、概念隐喻组织创建微叙事,创造各种类型的语义冲突,诱发层创结构,激活反讽意义的解读。我们认为这一模式更接近该类反讽的认知加工现实,具有更强的认知阐释力。
本文建立系统的图文多模态反讽框架,以期推动多模态反讽的在线认知研究。展望未来发展,研究者一方面应该扩大多模态反讽的研究类型,考察手势、声音等其他符号资源参与构建的反讽在认知加工机制和表征类型方面的异同。另一方面,还应该结合实证研究,验证和发展多模态反讽理论。
本文来源：《外语教学》2019年第5期
作者简介：
赵秀凤，中国石油大学（北京）外国语学院教授，博士，博士生导师，研究方向：认知语言学、多模态研究、认知诗学。