通訊信號的破碎化在自然環境中是常態，例如森林中目標物體經常被部分遮擋，動物的叫聲經常被噪音遮蔽或打斷。長期的進化和適應，使人和許多動物具有一定的補全殘缺信號的能力。當連續的聲音被另一個短暫而響亮的聲音（譬如咳嗽聲）掩蓋時，我們的聽覺系統會積極填充遮蔽部分，仍然可以將殘缺信號感知為一個完整的聽覺信號。這種感知修復形式，被稱為聽覺誘導（auditory induction）或非模態補整（amodal completion）。非模態補整已經在幾種動物中被證明，包括一些靈長類和鳴禽（Miller et al., 2001）。在繁殖季節，蛙類的求偶場中充斥著各種遮蔽鳴聲信號的聲源（同種其他個體鳴叫或異種鳴叫），雌性在選擇鳴叫個體作為配偶的過程中面臨著諸多挑戰。目前，關于無尾兩棲類聽覺誘導的研究十分有限，尚無研究證明無尾兩棲類的鳴聲通訊具有非模態補整。我們的野外觀察發現，鋸腿原指樹蛙（Kurixalus odontotarsus）在自然條件下偶爾會發出部分音節缺失的廣告鳴叫（圖1），可以為研究非模態補整提供理想模型。 

　　

　　圖1. 鋸腿原指樹蛙缺失鳴叫的波形圖（上）和窄帶語圖（下） 

　　

　　圖2. 三種鳴聲刺激：完整5音節廣告呼叫（a），第2個音節缺失的廣告鳴叫（b），在第2個音節位置填充白噪音后的廣告鳴叫（c）。 

　　當一邊播放完整的5音節廣告鳴叫，另一邊播放第2個音節缺失的廣告鳴叫時，64%的雌蛙選擇完整鳴叫（圖3a）。當在缺失位置填上白噪音后，雌蛙的選擇偏好并沒有發生改變（圖3b），表明鋸腿原指樹蛙的鳴聲通訊不具有非模態補整，即在缺失位置補上噪音無法使缺失鳴叫恢復為完整意義的鳴叫。 

　　

　　圖3. 雌性的選擇比例。左右兩邊為成對的實驗刺激，中間為選擇結果。 

　　在長期復雜的環境壓力下，人和動物進化出了整合多種感覺系統進行通訊的能力，即多模通訊（multimodal communication）。我們在交流時會使用聲音、嘴型和手勢等多模信號，人腦可以從面部表情以及嘴型獲取視覺信息（“唇讀”，lip-reading），這些視覺信息可以幫助我們識別說話內容。許多動物的求偶信號也包含多種感覺信息。蛙類鳴叫時伸縮的鳴囊與我們的嘴唇類似，鳴囊不僅可以作為聲音的放大器，同時可以傳遞視覺信息（Starnberger et al., 2014）。 

　　

　　圖4. 無尾兩棲類的鳴囊具有多模態特征（引自文獻Starnberger et al., 2014） 

　　視聽多模信號的整合方式會影響信號感知的結果，例如著名的麥克格效應（McGurk effect）表明說話時嘴型提供的視覺線索會影響我們的聽覺認知（McGurk and MacDonald, 1976）。當一種低吸引力的聲音信號和一種低吸引力的視覺信號結合時，雌性泡蟾（Physalaemus pustulosus）會認為這是一種高吸引力的多模信號——“多感覺拯救假說”（the perceptual rescue hypothesis）（Taylor and Ryan, 2013）。我們以前的研究表明，蛙類的視聽多模信號能增加雌性的工作記憶，利于雌性做出選擇（Zhu et al., 2021）。那么，視聽整合能否幫助雌蛙識別缺失鳴叫呢？ 

　　

　　圖5. 視聽多模信號回放實驗場地示意圖。兩個視聽播放裝置與被試呈60°夾角，距離1米。視聽播放裝置可以單獨呈現聲音、視覺、聲音+視覺刺激。用音箱播放雄蛙鳴聲，用液晶顯示器呈現視覺刺激（動態鳴囊）。 

　　 結果顯示，盡管視覺鳴囊顯著增加了缺失鳴叫的吸引力（圖6c），但吸引力仍然趕不上完整的廣告鳴叫（圖6d），結果不支持“多感覺拯救假說”。單純的視覺鳴囊并不能幫助雌蛙識別缺失鳴叫。而當在缺失位置同時呈現白噪音和視覺鳴囊時，缺失鳴叫與完整鳴叫的吸引力相當（圖6e），這一結果支持“信號交互作用假說”（inter-signal interaction hypothesis）（Caldart et al., 2021）。 

　　

　　圖6. 雌性選擇比例。波形圖代表聲音信號，鳴囊膨大的樹蛙代表視覺信號。 

　　 研究還發現，當存在視覺信號時，雌蛙做出選擇的時間更短。這將降低雌性在評估配偶過程中被捕食的風險，并暗示視覺線索能夠比聽覺線索提供更準確的位置信息。 

　　

　　圖7. 雌性做出選擇所需時間 

　　 當存在視覺鳴囊時，被噪聲遮蔽的缺失鳴叫的吸引力與完整鳴叫一樣，表明視覺線索可以彌補聲音通訊中的噪聲干擾。這與人類在語音暫時被噪聲掩蓋時，可以通過“唇語”來增強語音識別類似。這種多感官信號交互作用可以幫助動物在噪音環境中識別鳴聲信號。該研究對揭示動物視-聽覺多模信號的功能、人類和動物非模態補整能力的進化有重要意義。 

　　研究結果以“Multisensory integration facilitates perceptual restoration of an interrupted call in a species of frog”為題發表在國際學術期刊Behavioral Ecology上。中國科學院成都生物研究所動物行為與仿生項目組特別研究助理朱弼成博士為該論文第一作者，崔建國研究員為通訊作者；海南師范大學汪繼超教授、王同亮博士和美國得克薩斯大學Michael J. Ryan教授為合作作者。本研究得到國家自然科學基金（31772464，32001095）、四川省科技創新項目 （2022JDTD0026）、中國科學院青年創新促進會（2012274）和生態環境部生物多樣性調查評估項目（2019HJ2096001006）的資助。

　　原文鏈接 

　　主要參考文獻 

　　Caldart VM, dos Santos MB, Machado G. Function of a multimodal signal: a multiple hypothesis test using a robot frog. Journal of Animal Ecology, 2021, 91: 701-714. https://doi.org/10.1111/1365-2656.13620 

　　McGurk H, MacDonald J. Hearing lips and seeing voices. Nature, 1976, 264: 746-748. 

　　Miller CT, Dibble E, Hauser MD. Amodal completion of acoustic signals by a nonhuman primate. Nature Neuroscience, 2001, 4(8): 783-784. 

　　Starnberger I, Preininger D, Walter H？dl. The anuran vocal sac: a tool for multimodal signaling. Animal Behaviour, 2014, 97: 281-288. 

　　Taylor RC, Ryan MJ. Interactions of multisensory components perceptually rescue túngara frog mating signals. Science, 2013, 341(6143): 273-274. 

　　Zhu BC, Yang Y, Zhou Y, Deng K, Wang TL, Wang JC, Tang YZ, Ryan MJ, Cui JG. Multisensory integration facilitates perceptual restoration of an interrupted call in a species of frog. Behavioral Ecology, 2022, arac053. https://doi.org/10.1093/beheco/arac053 

　　Zhu BC, Zhou Y, Yang Y, Deng K, Wang TL, Wang JC, Tang YZ, Ryan MJ, Cui JG. Multisensory modalities increase working memory for mating signals in a treefrog. Journal of Animal Ecology, 2021, 90: 1455-1465. https://doi.org/10.1111/1365-2656.13465