腦海里總有彈幕飄過？沒錯，你就是那個天選之人

在一陣驚險而刺激的狂奔后，他終于和這位試圖抓住他的詭異無臉人發生了對話，無臉人一邊說著，畫面下方一邊滑過了同步的字幕。這本該是出現在恐怖電影中的場景，但其實是他的夢境。沒錯，他為自己的夢配上了清晰可見的字幕。

不周

clefable

想象一行字“我是神奇的腦內彈幕??！”正飄浮在空中。如果你嘗試過，可能會發現這并不容易做到。多數人都需要用力地想象這些字的“臉”，而后再費心精雕細琢一番，否則這行字很容易就變成一團模糊的字塊，難以辨認。

但如果你不費吹灰之力就能想象出來，甚至在生活中也經常會在腦海里看到一行連貫的字幕滾動過去，那么你很可能和上文提到的會為夢境配字幕的人一樣，擁有少見的字幕聯覺。通常情況下，我們在接收一種感官信息時，只會體驗到一種知覺，而所謂聯覺則是指不同知覺會跨越感官相互連通，比如聽到顏色或是品嘗到形狀等。

早在 19 世紀，科學家就驚訝地發現有人認為字母或數字是有特定顏色的。但當時多數人都將聯覺看作一種幻想，或者是格外擅長比喻，而非真實的感覺體驗。直到 20 世紀，科學家才通過系統性的實驗證實了聯覺的真實性。

在眾多感官交叉 —— 比如字素與顏色、詞匯與味覺、樂曲與畫面等 —— 帶來的各種各樣奇幻的聯覺體驗中，字幕聯覺雖然是聽覺與視覺的“平凡”交融，卻好像并不那么常見。1883 年，查爾斯?達爾文的表兄弗朗西斯?高爾頓(Francis Galton)觀察到，一些人會在腦內將對話者講話的內容形象化，“有些人在腦海中會看到對話者說出的每一個字在一條長長的紙條上滾動浮現，就像是自動收報機上展開的紙條一樣?！币惨虼?，字幕聯覺常被叫做自動收報機聯覺(ticker tape synesthesia，TTS)。

原來我是特別的

一直以來，有關 TTS 的實證研究并不多。它很容易被歸類到聯覺這個廣泛的標簽下，并且不如其他多數聯覺那樣奇特，引人注意?！暗?TTS 這種現象遠遠超出了軼事的范疇，它能幫助我們更好地理解大腦處理書面語言的神經機制，”法國巴黎大腦研究所的博士生法比安?奧夫(Fabien Hauw)表示。

奧夫與神經心理學家洛朗?科昂的研究團隊一同調查了 26 位具有 TTS 的志愿者，首次系統性地收集了 TTS 的視覺和字幕出現的時間特征、觸發機制、是否能主動控制和如何處理干擾性語音信息等數據。這項研究于 2022 年 12 月發表在 Cortex 期刊上。

由于 TTS，或者說多數聯覺是主觀性的體驗，從眾多志愿者中找出聯覺者是極具挑戰性的，因為有時候他們根本意識不到自己是特殊的。更有趣的是，“最終被招募參與研究的志愿者中，有幾位是通過招募的海報信息才意識到，并非每個人自帶內置字幕，”科昂笑著說。有關 TTS 在人群中出現的概率，由于抽樣偏差，不同研究得出的結論各有不同，至今未能有定論，只是大概估計為百分之幾的概率。

世界是怎樣的電影呢？

為了深入了解 TTS，科昂的團隊為志愿者設置了一份詳盡的調查問卷，從多個維度收集了他們的主觀感受。首先他們需要確定 TTS 會在何時出現，志愿者是何時以及如何意識到它不常見的。在較為粗略的概念里，TTS 是由外部語音觸發的，那么它可以由自己的語言觸發嗎？情感以及性別等聽覺參數是否會影響 TTS 的感知？聯覺者對這種現象自我控制的程度如何？

TTS 的本質是一種生動的心理視覺圖像。因此研究人員也想探究志愿者是在自己腦海中感知到字幕，還是會像虛擬現實的畫面一樣 —— 將字幕投射到外界？字幕出現的位置是固定的嗎？它們多用大寫字母還是小寫字母，是否有顏色等等問題。

同時，聽覺上語音感知與字幕出現之間是否有延遲，以及語音停止后字幕持續的時間，TTS 是否會被外語、新詞以及不同類別的非言語聲音觸發，以及 TTS 對日常生活的影響，這些也都是研究人員試圖理清的問題。

針對 TTS 的觸發機制，研究人員額外使用了聽覺刺激用來輔助評估。他們從一個開放的語音庫中選擇了多種類型的聲音，比如同音詞、錯音詞(類似雜志與咱志)、假詞(與真詞相對，符合語音但不符合語義的詞匯，如冰箱與冰仙), 以及動物叫聲、汽車引擎聲等非言語性的語音，將它們依次播放給志愿者聽，并讓他們寫下可能誘發的任何字幕。

隨時隨地，無法自控

研究人員通過整理收集到的內容發現，19 名志愿者報告從記事起(約 8 歲)或自識字起(約 11 歲)就一直具有 TTS，這說明具有初步的讀寫能力是 TTS 出現的先決條件。對于聯覺者而言，TTS 具有明顯的優勢 —— 能幫他們更快地學會正確拼寫單詞。此前一項研究也表明，10~11 歲的 TTS 聯覺者相比其他同齡的兒童，能更好地表達和學習新詞匯，這顯示了 TTS 帶來的語言學習優勢。但與之相對的，他們在擁擠嘈雜的環境下，很難將注意力集中在單個對話者身上。約一半的志愿者都認為 TTS 既帶來了優勢，也造成了障礙。

有 18 位志愿者表示 TTS 是一種自動發生的現象，他們幾乎無法控制。所有志愿者在聽到和觀看別人說話時，都會觸發 TTS。而在多數情況下，即使說話者遠離他們的視線范圍，或是志愿者自己公開說話，甚至是隱蔽的內心獨白，TTS 也仍會發生。內部的語音并不存在真實的聲學過程，但它與外部語音過程一樣都能激活 TTS，這可能揭示了 TTS 中存在的腦區共同激活模式，但仍有待進一步探索。

然而，也有志愿者報告自己講話時或者視野之外的人講話的聲音沒有觸發 TTS。對此，研究人員認為這兩種情況是源于志愿者的注意力并未集中在輸入的語音上:視野外的說話者通常是無關緊要的，本應被過濾掉；而與人對話時，自己關注的更多是交流的意圖，而非自己的語音內容。這很可能會導致觸發 TTS 的概率降低。

而另一種解釋則認為這種現象與唇讀受阻存在緊密聯系。上述這兩種情況都無法從視覺上輔助志愿者閱讀單詞。由此，也有研究人員認為 TTS 的生成或許不僅與聽覺上的語音學相關，可能也與視覺上對面部的感知有關。

為貓貓叫配上“喵”

在研究 TTS 的觸發機制時，最常見的心理詞典 —— 存儲在記憶中的詞匯庫就像是保存在人腦中的一部詞典 —— 中的真詞，很自然地會觸發 TTS。但研究人員同時也發現，假詞(只有語音沒有語義)甚至非言語的聲音也可能觸發 TTS。

一位志愿者講述道，有一只小鳥常常清晨在他的花園里唱歌。幾天后，他將這首歌翻譯成了象聲詞。從那時起，每當小鳥唱歌，就會在他腦海里觸發一串擬聲詞字幕。這種情況也類似于外語對 TTS 的刺激，雖然這些語音可能會失去了原來的語義，但仍可通過語音編碼而被收入他們腦海的“詞庫”中。

這一過程其實也揭示了語言學習的過程。從語言學上講，語音與正字法(orthography，規范字詞的形體和使用規則，因此有真詞和假詞，正字和錯字的概念，包括漢語在內的多數語言都會在正字法包含語音結構的某些信息)都能結合對語義的理解，增進讀寫能力。

在受不同非言語性語音刺激的志愿者反饋的字幕中，研究人員能清晰地辨認出語音轉為正字法的編碼路徑，比如在所有志愿者中，熟悉的貓貓叫聲幾乎都會觸發擬聲詞“喵~”，但對于不太熟悉的公雞叫聲，只有少部分人觸發了“HUHUHU”；而一些聲音觸發的則不是擬聲詞，而是產生噪音的物體的名稱，比如槍聲引起志愿者想到的更多是“槍”(“GUN”)或“槍擊”(“GUNSHOT”)。

在 2022 年的一項 TTS 磁共振成像研究中，他們發現相比于對照組，當聯覺者聽一段獨白時，左半球負責語音分析的區域和涉及拼寫的特定區域 —— 視覺詞形加工區(Visual Word Form Area，VFWA)會被更強烈地激活，這與閱讀時激活的腦區相同。與普通人將書面文字翻譯成語音相對的是，TTS 聯覺者是自動地將語音轉換為書面文字，也就是說，TTS 更像是一種顛倒的閱讀形式。

重在參與的字幕

有趣的是，志愿者在閱讀或者觀看電影期間，TTS 也會一定程度地參與其中。在安靜的地方閱讀時，約一半的志愿者表示他們只會看到印刷的文本，而另一半則會在文本之上看到相同版本的聯覺版本。比較痛苦的情況是，如果有人在一邊說話，88% 的志愿者都表示這會導致說話者的語音字幕入侵書面文本，“污染”了它。

相似的，看帶字幕的電影時，一半的志愿者既能看到電影字幕，也能看到演員說話時的聯覺版二級字幕。少數志愿者還報告說，他們會在夢中也能看到字幕。某種程度上，這也算是為他們的夢添加了電影的維度。

在這些志愿者的描述中，聯覺字幕出現的形式也極為豐富。18 位志愿者會在腦海中看到字幕，有兩位則是將字幕投射到外部世界中，剩下的人表示可以自由切換。而他們的字幕出現的位置也會有所差異，有人的字幕會根據聲源方向向左或向右移動，有些人的字幕會像漫畫的氣泡一樣靠近說話者的嘴，有人則是與電影字幕位置相似，像提詞器一樣滾動。

不同志愿者看到字幕的顏色、字體以及字號都有所不同。有志愿者表示，“當我感動時，字母會有些模糊或搖晃”、“情緒激烈時，單詞會變大”、“聲音越大、單詞越大”，在聽到音樂中的歌詞時，“單詞似乎會隨著旋律起伏”等。事實上，他們有些人并不止有 TTS 聯覺，有些人還會有諸如時空聯覺、聲音顏色、絕對音準等不止一種的聯覺體驗。

TTS 聯覺是如此特殊，觸發它的語音和出現的文字圖像都是語言表征，它也因此為我們理解人類的閱讀機制提供了一個非常特殊的視角。

不過聯覺本身并沒有那么稀奇，很多人在聽到一首歌或是聞到某種氣味時，會感到好像回到了某段記憶里，這本質上也是一種聯覺。而人類強大的想象力應用在文學創作中，便有了所謂通感的修辭手法。

在《禮記?樂記》中，“故歌者，上如抗，下如隊，曲如折，止如槀木，倨中矩，句中鉤，累累乎端如貫珠”就講述了音樂不僅悅耳，更能通過聽覺與人的觸覺、視覺和情緒溝通。

如果你也想更有代入感的體驗聯覺通感，不如聽聽用音樂描繪圖畫的《圖畫展覽會》鋼琴組曲。

參考鏈接:

聲明：本網轉發此文章，旨在為讀者提供更多信息資訊，所涉內容不構成投資、消費建議。文章事實如有疑問，請與有關方核實，文章觀點非本網觀點，僅供讀者參考。