集中力を発揮する過程での,五感を駆使するという無意識の行動は,crossmodal matchingと呼ばれます.例えば,人間は音源の方向を識別することが不得意ですので(耳たぶの大きさや機能の問題),それを補うために音と一致する動きを示す対象に音との関連性を強く感じるaudiovisual matchingを無意識に行うようになり,その結果人間は音源の方向をより正確に把握できるようになっていると考えることもできます.この論文では3つの実験から,このcrossmodal matchingのひとつであるaudiovisual matching(ある場合にはこれにより腹話術効果が出現します)が,同時に聞こえてくる二つの話声から目的の相手の話のみを正確に聞き取るための集中力にとって,通常は補助的に,また特殊な場合にマイナスに作用することが明確に証明されています.以下にその3つの実験を実際の会話の場合に置き換えて説明します.
(実験1)非常に盛り上がっているパネルディスカッションの会場を思い浮かべてください.舞台の左側にスピーカーが置いてあり,同じ声で同じしゃべり方をする5人のパネラーたちが舞台の上で横長のテーブルに一列に着席してこちらに向かって活発な意見を発表しています.各パネラーたちはマイクを使って発言しており,会場への音声は舞台の左隅のスピーカーからのみ聞こえてきますが,興奮した複数のパネラーが同時にしゃべっているため発言の内容が聞き取りにくくなっています.スピーカー側から順にパネラーA〜パネラーEと呼ぶことにしましょう.例えば,パネラーCの発言に耳を傾けますと,舞台の左隅のスピーカーから他の発言者の声と混ざって聞こえてくるパネラーCの声は,腹話術効果のためパネラーC本人の口元から発せられるように感じられます.このような状況で,一番スピーカーに近いパネラーAと一番遠いパネラーEとでは,どちらの発言をより正確に聞き取ることができるでしょうか?非常に難しい問題ですが,感覚的にはスピーカーに近いパネラーAの方の発言をより正確に聞き取れるような感じもしますが,実はその逆なのです.スピーカーから遠いパネラーほど,その発言を聞き取るためにはより大きな腹話術効果のお世話にならなければならず,腹話術効果が大きいほどそのパネラーの声を他の発言者の声から分離してより正確に聞き取ることができると,この論文は結論しています.
(実験2)カクテルパーティーの会場の騒音の中で,相手の話だけを抽出して聞き取ることができることをカクテルパーティー効果と呼ぶそうです.この場合でも相手の口の動きと,騒音の中に混ざっている相手の声をmatchingさせている訳ですが,聞き耳を立てている話の主が,目の前の相手ではない特殊な場合を想定してください.あなたは,あなたの前で,つまらない話をマイクを使ってまくしたてているパーティーの主催者であるA氏に対しては,失礼にならないようにその話を聞いているふりをしなければなりません.A氏の話はあなたの右側にあるスピーカーから聞こえてきます.しかし,あなたは,あなたの左側の少し離れた所で,あなた以外の人と話しこんでいるB氏の話が気になってしょうがないのです.ところが,B氏の声やしゃべり方はA氏にそっくりで聞き分けるのが困難です.このような状況では,腹話術効果は,あなたにとってマイナスに働いてしまいます.A氏の口の動きは,あなたの右側にあるスピーカーからA氏の声をA氏の口元に移動させ,B氏のいる方向に近づけてしまい,声の聞こえる方向から選別する手段をやりにくくします.また,A氏の口の動きから眼を離すわけにいかないのですから,B氏の声に対する集中力の障害となるわけです.
(実験3)実験2と同じ様な騒がしいカクテルパーティーの席で,今度は,主催者のA氏はマイクを使わずにあなたの前で話をしているとします.やはり,つまらない話なのですが一応聞いているふりをしなければなりません.あなたが聞きたがっているB氏の声は,今度はA氏の後ろから聞こえてきます.従って,そっくりなしゃべり方の両氏の声はほぼ同じ位置から聞こえてくる状況です.このような場合は,A氏の口の動きを見ていると,A氏の声をB氏の声から分離することができ,両氏の声を選別できる可能性が出てきます.実験では,A氏の口が見えていると,B氏の話に対する集中力が高まるという結果が出ました.
聞こえてくる音の選別の過程には,得ることのできる複数の異質情報を統合して結論を出すというcrossmodal matchingが無意識のうちに使われています.自閉症児の集中力の問題を解析したり,指導方を考えていく上で,ここに紹介したような概念は非常に参考になると考えます.