ปรากฏการณ์แม็คเกอร์ก

ปรากฏการณ์แม็คเกอร์ก (อังกฤษ: McGurk effect) เป็นปรากฏการณ์หลอกการรับรู้คำพูด ที่แสดง (คือเกิดจาก) การทำงานร่วมกันระหว่างการได้ยินและการเห็นในการรับรู้คำพูด การรับรู้คำพูดที่ผิดไปจากเสียงที่ได้ยินเกิดขึ้นเมื่อมีการจับคู่เสียงของคำพูดพยางค์หนึ่ง กับการเห็นการออกเสียงคำพูดอีกพยางค์หนึ่ง ซึ่งก่อให้เกิดการรับรู้เสียงเป็นพยางค์ที่สาม คือ ข้อมูลทางตาจากการเห็นอีกคนหนึ่งพูด เปลี่ยนแปลงการรับรู้เสียงที่ได้ยินของเรา

แต่ว่า บุคคลที่คุ้นเคยกับการดูภาพยนตร์ที่มีการพากย์เสียงทับ อาจจะไม่ค่อยประสบกับปรากฏการณ์แม็คเกอร์กมากนัก เพราะว่าพวกเขาคุ้นเคยกับการไม่ใส่ใจข้อมูลที่ได้จากการเห็นปากของ "ผู้พูด" ถ้าเราได้รับข้อมูลคุณภาพไม่ดีจากเสียง แต่ได้ข้อมูลคุณภาพดีจากการเห็น ก็จะทำให้มีโอกาสมากขึ้นที่จะประสบกับปรากฏการณ์นี้ ความสามารถในการประสานข้อมูลทางหูและทางตาเข้าด้วยกัน อาจจะมีผลให้เกิดปรากฏการณ์นี้ เพราะว่า บุคคลที่มีระบบประสานข้อมูลทางความรู้สึกที่ดี ประสบกับปรากฏการณ์นี้บ่อยครั้งกว่า นอกจากนั้นแล้ว บุคคลต่าง ๆ กันก็ยังประสบกับปรากฏการณ์นี้ต่าง ๆ กัน ขึ้นอยู่กับองค์ประกอบหลายอย่างรวมทั้งความเสียหายหรือโรคในสมอง

ประวัติพื้นเพ

ปรากฏการณ์แม็คเกอร์กบางครั้งเรียกว่า ปรากฏการณ์แม็คเกอร์-แม็คโดนัลด์ (McGurk-MacDonald effect) เพราะแฮร์รี แม็คเกอร์ก และจอห์น แม็คโดนัลด์ ได้พรรณนาถึงปรากฏการณ์นี้เป็นครั้งแรกในปี ค.ศ. 1976 ในผลงานวิจัยมีชื่อว่า "การได้ยินปาก และการเห็นเสียง (Hearing Lips and Seeing Voices) " ปรากฏการณ์นี้ค้นพบโดยบังเอิญ เมื่อแม็คเกอร์กและผู้ช่วยงานวิจัยของเขาคือแม็คโดนัลด์ ขอให้ช่างเทคนิคช่วยอัดเสียงทับวิดีโอโดยใช้เสียงพยางค์ที่ต่างจากคำที่พูดในวิดีโอ โดยเป็นงานวิจัยเพื่อค้นคว้าการรับรู้ภาษาของเด็กทารกในระดับพัฒนาการต่าง ๆ แต่เมื่อเล่นวิดีโอนั้น นักวิจัยทั้งสองกลับรับรู้เสียงของพยางค์ที่สาม ที่ไม่ใช่เสียงของพยางค์ที่ใช้อัดทับ หรือของพยางค์ที่พูดในวิดีโอ

ปรากฏการณ์นี้ประสบได้เมื่อวิดีโอมีรูปที่กล่าวเสียงของพยางค์หนึ่ง แล้วอัดทับเสียงด้วยเสียงจากอีกพยางค์หนึ่ง บ่อยครั้ง พยางค์ที่ผู้ดูวิดีโอรับรู้กลับเป็นพยางค์ที่สามที่มีเสียงคล้ายกับพยางค์สองพยางค์แรก ยกตัวอย่างเช่น ถ้าใช้เสียงอัดทับว่า บา-บา (/ba-ba/) ในวิดีโอที่มีการกล่าวว่า กา-กา (/ga-ga/) เสียงที่รับรู้กลับเป็น ดา-ดา (/da-da/) แม็คเกอร์กและแม็คโดนัลด์ตอนแรกเชื่อว่า นี้เป็นผลเกิดจากคุณสมบัติเกี่ยวกับเสียงพูดและการเห็นการเปล่งเสียงของอักษร บ (/b/) และอักษร ก (/g/) ที่คล้ายกันมีการรับรู้ที่ผิดไปจากความจริง 2 แบบที่เกิดขึ้นจากตัวกระตุ้นทางตาและทางหูที่ไม่คล้องจองกัน คือแบบหลอมรวมกัน (อังกฤษ: fusion) เช่นเสียง 'บา' มีรูปพูดว่า 'กา' ทำให้รับรู้ว่า 'ดา') และแบบผสมผสานกัน (อังกฤษ: combination) เช่นเสียง 'กา' และรูปพูดว่า 'บา' ทำให้รับรู้ว่า 'บะกา') เพราะว่า ข้อมูลจากตาและจากหูขัดแย้งกัน การรับรู้ที่ผิดไปจากความจริงนี้จึงเป็นผลงานของสมองที่ทำการแปลข้อมูลที่ได้รับด้วยการเดาที่ดีที่สุด แต่ในกรณีนี้ ข้อมูลทางตามีอิทธิพลมากกว่าข้อมูลเสียงในการประมวลผลในสมอง ดังนั้นจึงก่อให้เกิดการหลอมรวมกันและการผสมผสานกันของข้อมูลจากประสาททั้งสองทาง

การเห็นเป็นทางประสาทที่สำคัญที่สุดในมนุษย์ และการรับรู้คำพูดต้องอาศัยทางประสาทหลายทาง (multimodal) โดยเฉพาะคือ จากการได้ยินและจากการเห็น ปรากฏการณ์แม็คเกอร์กเกิดขึ้นในการประมวลผลโดยพยางค์ เพราะว่า การประสานกันระหว่างข้อมูลทางหูและข้อมูลทางตาเกิดขึ้นในขั้นต้น ๆ ของการรับรู้คำพูด ปรากฏการณ์นี้มีกำลังมาก ถึงแม้ว่าบุคคลจะทราบถึงปรากฏการณ์นี้ แต่ก็ยังประสบกับปรากฏการณ์นี้อยู่ คือความรู้เกี่ยวกับปรากฏการณ์ไม่มีผลอะไรต่อการรับรู้ นี้ต่างจากเทคนิคการหลอกการรับรู้ประเภทอื่น ๆ ซึ่งจะไม่มีผลอะไรเมื่อบุคคลทราบถึงเทคนิคนั้นแล้ว แม้นักวิจัยบางพวกที่ได้ทำการค้นคว้าวิจัยประสบการณ์นี้มามากว่า 20 ปี ก็ยังประสบกับปรากฏการณ์นี้แม้จะรู้ดีว่าอะไรจริง ๆ เกิดขึ้นอยู่

คนโดยมากมีความสามารถจำกัดในการที่จะรับรู้คำพูดโดยอาศัยตาเพียงทางเดียว ยกเว้นบุคคลที่สามารถอ่านคำพูดจากปากได้ แต่ปรากฏการณ์ที่เกิดขึ้นบ่อย ๆ ก็คือความสามารถในการเข้าใจคำพูดในระดับที่เพิ่มขึ้นในสิ่งแวดล้อมที่มีเสียงอึกทึก โดยอาศัยการเห็นท่าทางของผู้พูด นอกจากนั้นแล้ว การเห็นการเปล่งเสียงยังสามารถเปลี่ยนการรับรู้เสียงแม้ที่ชัดเจนดี เมื่อการเปล่งเสียงที่เห็นนั้นแตกต่างจากคำพูดที่ได้ยิน โดยปกติแล้ว เราเข้าใจการรับรู้คำพูดว่า เป็นการประมวลผลทางการได้ยิน แต่ความหลงผิดที่ประสบในปรากฏการณ์นี้เกิดขึ้นอย่างรวดเร็ว โดยอัตโนมัติ และไม่ได้อยู่ใต้อำนาจจิตใจโดยมาก ดังนั้นจึงเห็นได้ว่า การรับรู้คำพูดนั้น ไม่ใช่อาศัยการได้ยินเพียงเท่านั้น แต่ต้องอาศัยทางประสาทหลายทางที่ทำงานร่วม ๆ กันรวมทั้งการเห็น การถูกต้องสัมผัส (ใบหน้าที่กำลังพูด) และการได้ยิน สมองบ่อยครั้งไม่มีความตระหนักถึงทางประสาทของข้อมูลที่รับรู้ ดังนั้น สมองจึงไม่สามารถแยกแยะว่าคำพูดที่รับรู้นั้น มาจากการได้ยินหรือการเห็น

นอกจากงานวิจัยที่กล่าวถึงไปแล้ว ยังมีการศึกษาปรากฏการณ์นี้ในการให้การของพยานด้วย แวร์แฮ็มและไรท์ทำงานวิจัยในปี ค.ศ. 2005 ที่แสดงว่า ข้อมูลทางตาที่ไม่คล้องจองกับเสียงที่พูดสามารถเปลี่ยนการรับรู้คำพูดที่ได้ยิน จึงบอกเป็นนัยว่า ประสบการณ์นี้อาจจะมีอิทธิพลต่อการรับรู้คำพูดในชีวิตประจำวัน และไม่ใช่โดยเพียงพยางค์ที่ได้ยินอย่างเดียวเท่านั้น แต่สามารถเป็นได้โดยทั้งคำ และมีผลต่อการปฏิสัมพันธ์กับผู้อื่นที่เราไม่ตระหนักรู้

งานวิจัยเกี่ยวกับปรากฏการณ์นี้สามารถให้ข้อมูลไม่ใช่ในเรื่องทฤษฎีเพียงอย่างเดียวเท่านั้น แต่ยังสามารถให้ความรู้เกี่ยวกับการเยียวยาและวินิจฉัยโรคที่เกี่ยวข้องกับปัญหาการประสานข้อมูลทางตาและทางหูเพื่อรับรู้คำพูด

อิทธิพลของสมอง

ความเสียหายในสมอง

ซีกสมอง (cerebral hemisphere) ทั้งสองข้างมีส่วนร่วมให้เกิดปรากฏการณ์แม็คเกิร์ก คือมีการทำงานร่วมกันเพื่อประสานข้อมูลเกี่ยวกับคำพูดจากการเห็นและการได้ยิน การตอบสนองในสมองที่ประกอบพร้อมกับปรากฏการณ์นี้มักเกิดขึ้นในบุคคลถนัดมือขวา โดยที่สมองซีกขวาประมวลผลเกี่ยวกับใบหน้า และสมองซีกซ้ายประมวลผลเกี่ยวกับคำพูด ในบุคคลที่ได้รับการตัด corpus callosum (Corpus callostomy) ออก ปรากฏการณ์นี้ก็จะยังคงมีอยู่แต่เกิดขึ้นช้ากว่าคนปกติ ในบุคคลที่มีรอยโรคในสมองซีกซ้าย (คือมีความเสียหายในการประมวลผลเกี่ยวกับเสียง) การเห็นบ่อยครั้งเป็นส่วนสำคัญในวิธีการรักษาด้วยการบำบัดวจีเภท (speech therapy) และการบำบัดภาษา (language therapy) ดังนั้น ผู้มีรอยโรคในสมองซีกซ้าย จึงประสบกับปรากฏการณ์แม็คเกิร์กในระดับที่สูงกว่ากลุ่มควบคุมผู้เป็นปกติ คือ ข้อมูลจากการเห็นมีอิทธิพลสำคัญในการรับรู้คำพูด แต่ว่า ถ้าสมองซีกซ้ายมีความเสียหาย ที่มีผลเป็นความบกพร่องในการรับรู้คำพูดทางตาแบบเป็นช่วง ๆ คนไข้ก็จะมีประสบการณ์นี้ในระดับที่ลดน้อยลงไป

ส่วนในบุคคลที่มีความเสียหายในสมองซีกขวา ก็จะมีความเสียหายในทั้งการเห็นอย่างเดียวด้วย และทั้งการประสานข้อมูลระหว่างการเห็นและการได้ยินด้วย แต่ว่าก็ยังมีการประสานข้อมูลทั้งสองทางเพียงพอที่จะก่อให้เกิดปรากฏการณ์แม็คเกิร์ก การประสานข้อมูลอย่างนี้เกิดขึ้นในกรณีที่ใช้ตัวกระตุ้นทางตาเพื่อเพิ่มความสามารถในการรู้คำพูด เมื่อเสียงทางหูได้ยินได้แต่ไม่ชัดเจนเท่านั้น ดังนั้น ผู้มีความเสียหายในสมองซีกขวายังประสบกับปรากฏการณ์นี้อยู่ แต่ว่าในระดับที่ไม่เท่ากับบุคคลปกติอื่น

ปรากฏการณ์ในบุคคลผู้มีโรคต่าง ๆ

ภาวะเสียการอ่านรู้ความ

เด็กผู้มีภาวะเสียการอ่านรู้ความ (Dyslexia) ประสบกับปรากฏการณ์นี้น้อยกว่าเมื่อเทียบกับเด็กปกติที่มีอายุเท่ากัน แต่เท่ากันเมื่อเทียบกับเด็กที่มีความสามารถในการอ่านเสมอกันและมีอายุเท่ากัน เด็กผู้มีภาวะนี้ต่างจากเด็กปกติโดยปรากฏการณ์แบบผสมผสานกันเท่านั้น แต่ไม่ต่างโดยแบบหลอมรวมกัน ระดับปรากฏการณ์ที่ต่ำกว่าปกติ อาจเป็นเพราะเด็กผู้มีภาวะนี้มีความยากลำบากในการรับรู้และการสร้างพยัญชนะควบกล้ำ ดังนั้น ปรากฏการณ์แบบผสมผสานกันซึ่งอาศัยพยัญชนะควบกล้ำ จึงอยู่ในระดับที่ต่ำกว่าปกติ

Specific language impairment

เด็กที่มีภาวะ specific language impairment มีปรากฏการณ์นี้ในระดับที่ต่ำกว่าเด็กปกติทั่วไป เพราะเด็กภาวะนี้ใช้ข้อมูลทางตาเพื่อการรับรู้คำพูดที่น้อยกว่า หรือว่ามีความใส่ใจในระดับที่ลดลงต่อท่าทีการออกเสียงของคนพูด และไม่มีปัญหาอะไรในการรับรู้คำพูดโดยใช้เสียงอย่างเดียว

โรคกลุ่มออทิซึมสเปกตรัม

เด็กโรคกลุ่มออทิซึมสเปกตรัม มีปรากฏการณ์แม็คเกอร์กที่น้อยลงไปอย่างชัดเจนเทียบกับเด็กปกติ แต่ว่า ถ้าตัวกระตุ้นไม่ใช่มนุษย์ (ตัวอย่างเช่น ให้ดูลูกเทนนิสที่กำลังเด้งโดยใช้เสียงของลูกวอลเลย์บอลที่กำลังเด้ง) ก็จะมีปรากฏการณ์นี้ในระดับที่เท่ากันกับเด็กปกติ เด็กเล็กที่มีภาวะนี้ มีระดับปรากฏการณ์นี้ที่น้อยลงมาก แต่ว่า ระดับปรากฏการณ์นี้เพิ่มขึ้นเรื่อย ๆ เมื่อเจริญวัยขึ้น เมื่อโตแล้ว ระดับปรากฏการณ์นี้ก็จะใกล้กับคนปกติโดยทั่วไป

ความพิการในการเรียนภาษา

ผู้ใหญ่ที่มีความพิการในการเรียนภาษา มีปรากฏการณ์นี้ในระดับที่น้อยกว่าคนอื่น ๆ คือ การเห็นไม่มีอิทธิพลต่อการรับรู้ภาษาเท่ากับคนอื่น ๆ โดยมาก ดังนั้น บุคคลที่มีระดับทักษะทางภาษาต่ำ ก็จะมีระดับปรากฏการณ์นี้ที่น้อยลงไปเช่นกัน และเหตุสำหรับบุคคลพวกนี้อาจจะเป็นเพราะการทำงานที่ไม่ประสานกันระหว่างเขตด้านหน้าและด้านหลังของสมอง หรือระหว่างสมองซีกซ้ายและสมองซีกขวา

โรคอัลไซเมอร์

คนไข้โรคอัลไซเมอร์มีปรากฏการณ์นี้น้อยกว่าบุคคลปกติ บ่อยครั้ง ขนาดที่ลดลงของ corpus callosum ทำให้ขาดการเชื่อมต่อระหว่างซีกสมอง ตัวกระตุ้นทางตาจึงมีอิทธิพลน้อยลงสำหรับคนไข้พวกนี้ ซึ่งเป็นเหตุให้ประสบปรากฏการณ์นี้น้อยลง

โรคจิตเภท

คนไข้โรคจิตเภทประสบกับปรากฏการณ์นี้ในระดับที่น้อยลงจากบุคคลปกติ แต่ว่า ไม่ต่างกันอย่างสำคัญ โรคจิตเภททำการพัฒนาการของระบบประสานงานระหว่างการเห็นและการได้ยินให้ช้าลง และขัดขวางการพัฒนาการอย่างเต็มที่ของระบบ แต่ว่า ผลเสียหายของการขัดขวางการพัฒนาการกลับไม่ปรากฏ อย่างไรก็ดี คนไข้โรคจิตเภทมีแนวโน้มที่สูงกว่า ที่จะอาศัยข้อมูลที่ได้ยินมากกว่าที่ได้เห็นเพื่อการรับรู้คำพูด

ภาวะเสียการสื่อความ

คนไข้ภาวะเสียการสื่อความ (aphasia) มีการรับรู้คำพูดที่แย่ลงในทุกกรณี คือในการรับรู้ทางตาอย่างเดียว ทางหูอย่างเดียว หรือทางตาพร้อมกับทางหู ดังนั้น จึงมีปรากฏการณ์นี้ในระดับที่ลดลง แต่ว่า คนไข้ภาวะนี้มีการรับรู้ที่แย่ที่สุดในกรณีการรับรู้คำพูดทางตาอย่างเดียว ซึ่งแสดงว่า คนไข้อาศัยตัวกระตุ้นทางหูเพื่อการรับรู้คำพูดในระดับที่สูงกว่า

องค์ประกอบอื่น

การมีหูไม่ดี

มีการทดลองแล้วทั้งในคนที่หูไม่ดีและคนที่ผ่านการฝัง cochlear implant บุคคลทั้งสองเหล่านี้มักอาศัยข้อมูลทางตามากกว่าข้อมูลทางหู เมื่อเทียบกับคนปกติแล้ว ไม่มีความแตกต่างในเรื่องปรากฏการณ์นี้ในบุคคลเหล่านี้ ยกเว้นในกรณีที่คำพูดมีมากกว่าหนึ่งพยางค์ บุคคลที่มี cochlear implant มีการตอบสนองเหมือนกับคนปกติเมื่อพยางค์มีเสียงริมฝีปาก (โอษฐชะ มี บ, ป เป็นต้น) อัดทับลงในภาพกล่าวพยางค์เสียงเพดานอ่อน (velar มี ก, ง เป็นต้น) แต่ว่า ในกรณีที่เสียงพยางเสียงฟัน (ทันตชะ มี ฟ เป็นต้น) อัดทับลงในภาพกล่าวพยางค์เสียงริมฝีปาก การตอบสนองก็จะต่างกันมาก สรุปก็คือ บุคคลที่มี cochlear implant หรือมีหูไม่ดี ก็ยังประสบปรากฏการณ์นี้อยู่ แต่ก็จะมีความแตกต่างจากบุคคลปกติทั่วไป

การอัดเสียงทับ

ความแตกต่างกันของสระประเภทต่าง ๆ ลดระดับปรากฏการณ์แบบหลอมรวมกันอย่างสำคัญ คือ เสียงสระ /a/ (อะ, อา) อัดทับในภาพที่กล่าวสระ /i/ (อิ) มีความคล้องจองกันมากกว่า เมื่อเปรียบเทียบกับนัยตรงกันข้าม ซึ่งอาจเป็นเพราะว่าสระ /a/ สามารถกล่าวได้โดยวิธีการออกเสียงต่าง ๆ มากกว่าสระ /i/ ดังนั้น เสียงอัดทับและรูปการออกเสียงสระ /i/ ที่ไม่คล้องจองกันจึงเห็นได้ง่ายกว่า

ส่วนในกรณีที่เสียงอัดทับและรูปออกเสียงมีสระเดียวกัน เสียงสระ /i/ ก่อให้เกิดปรากฏการณ์ในระดับที่สูงที่สุด สระ /a/ ให้เกิดปรากฏการณ์ในระดับกลาง ๆ และสระ /u/ เกือบไม่ให้เกิดปรากฏการณ์นี้เลยWalker, S., Bruce, V. & O’malley, C. (1995). Facial identity and facial speech processing: Familiar faces and voices in the McGurk effect. Perception & Psychophysics, 57(8), 1124-1133</ref>

การเห็นปาก

ปรากฏการณ์แม็คเกอร์กเกิดขึ้นในระดับที่สูงกว่าเมื่อด้านขวาของปากสามารถมองเห็นได้ เรามักจะได้ข้อมูลทางตาจากปากด้านขวาของคนพูดมากกว่าจากปากด้านซ้าย หรือแม้แต่จากปากทั้งหมด นี้เป็นเพราะการใส่ใจของซีกสมองดังที่กล่าวไว้แล้ว

ตัวกวนสมาธิทางตา

ปรากฏการณ์แม็ค์เกอร์กเป็นไปในระดับที่น้อยกว่าเมื่อมีตัวกวนสมาธิทางตาที่คนฟังเข้าไปใส่ใจ การใส่ใจทางตาไปทางอื่นลดระดับการรับรู้คำพูดจากทางหูและทางตา สิ่งทำให้เกิดความวอกแวกทางตาอีกอย่างหนึ่งก็คือการเคลื่อนไหวของคนพูด ปรากฏการณ์นี้เป็นไปในระดับที่สูงกว่าถ้าคนพูดมีหน้าและศีรษะที่อยู่นิ่ง ๆ คือไม่มีการเคลื่อนไหว

เพศของผู้ฟังและผู้พูด

ผู้หญิงมีปรากฏการณ์นี้ในระดับที่สูงกว่า คือ ได้รับอิทธิพลทางตาในการรับรู้คำพูดมากกว่าผู้ชายถ้ามีตัวกระตุ้นทางตาที่มีอยู่เพียงช่วงสั้น ๆ แต่ไม่มีความแตกต่างกันสำหรับตัวกระตุ้นทางตาที่มีอยู่โดยปกติ

อีกประเด็นหนึ่งที่น่าสนใจเกี่ยวกับความแตกต่างของเพศชายหญิง ก็คือใบหน้าและเสียงของผู้ชายโดยความเป็นตัวกระตุ้น เปรียบเทียบกับใบหน้าและเสียงของผู้หญิงโดยความเป็นตัวกระตุ้น ปรากฏว่าไม่มีความแตกต่างในระดับการเกิดขึ้นของปรากฏการณ์นี้ และถ้าภาพใบหน้าของผู้ชายมีการอัดเสียงทับด้วยเสียงของผู้หญิง หรือโดยนัยตรงกันข้าม ก็ยังไม่มีความแตกต่างกันในระดับการเกิดขึ้นของปรากฏการณ์นี้ คือ การรู้ว่าเสียงที่ได้ยินไม่ใช่เสียงของคนที่พูดอยู่ในภาพ และเสียงนั้นเป็นเสียงของเพศตรงกันข้าม ก็ยังไม่ลดระดับหรือกำจัดปรากฏการณ์แม็คเกอร์ก

ความคุ้นเคยของใบหน้าและเสียง

ผู้ฟังที่มีความคุ้นเคยกับใบหน้าของผู้พูดมีปรากฏการณ์นี้เกิดขึ้นในระดับที่น้อยกว่าใบหน้าที่ไม่คุ้นเคย แต่กลับไม่มีความแตกต่างโดยความคุ้นเคยของเสียง

ความคล้องจองกันของเนื้อความ

เนื้อความหรือจุดมุ่งหมายที่คล้องจองกันมีผลอย่างสำคัญในปรากฏการณ์นี้ ปรากฏการณ์นี้ปรากฏชัดเจนและบ่อยครั้งในเหตุการณ์ที่มีความคล้องจองกันในความหมาย มากกว่าในเหตุการณ์ที่ไม่มีความคล้องจองกัน ถ้าผู้ฟังคาดว่าผู้พูดควรมีลักษณะอย่างนี้ทางตาหรือทางหู โดยอาศัยเนื้อความของเรื่องที่พูด ปรากฏการณ์แม็คเกิร์กก็จะปรากฏในระดับที่เพิ่มขึ้น

อิทธิพลจากการเห็นตนเอง

ปรากฏการณ์นี้พบแม้ในกรณีที่ผู้ฟังเองเป็นผู้พูดด้วย เมื่อดูตัวเองในกระจกเงาแล้วทำท่าพูดในขณะที่ฟังเสียงอื่น ปรากฏการณ์แม็คเกิร์กที่ชัดเจนก็ยังเกิดขึ้น

ในอีกกรณีหนึ่งที่ผู้ฟังกล่าวคำพูดแบบเบา ๆ ในขณะที่ดูคนอื่นกล่าวคำพูดมีท่าทางที่ไม่เหมือนคำพูดของผู้ฟัง ปรากฏการณ์นี้ก็ยังมีอยู่ แม้ว่าจะอยู่ในระดับที่อ่อน

ความที่เสียงเป็นไปไม่พร้อมกับภาพ

ความเป็นไปพร้อม ๆ กันโดยสอดคล้องเวลากันของภาพพูดและเสียงพูด ไม่เป็นส่วนสำคัญเพื่อที่จะให้เกิดปรากฏการณ์นี้ คือ ผู้ฟังยังได้รับอิทธิพลจากเสียงแม้ว่าอาจจะเล่นหลังภาพ (คือช้ากว่าภาพ) เป็นระยะเวลา 180 มิลลิวินาที (เป็นขีดที่ถ้าช้ากว่านี้ ปรากฏการณ์นี้จะเริ่มลดถอยไป) แต่ว่า ถ้าเสียงนำหน้ารูปภาพ ปรากฏการณ์นี้ลดระดับเร็วกว่ากรณีที่เสียงมาหลังภาพ คือ ถ้าจะลดปรากฏการณ์นี้ในระดับที่สำคัญ เสียงต้องมาก่อนภาพ 60 มิลลิวินาที หรือตามหลังภาพ 240 มิลลิวินาที

การงานทางกายภาพ

ปรากฏการณ์นี้ลดระดับลงเมื่อความใส่ใจเป็นไปในการงานเกี่ยวข้องกับการสัมผัส การรับรู้สัมผัสเป็นการรับรู้ความรู้สึกอีกอย่างหนึ่งเหมือนกับการเห็นและการได้ยิน ดังนั้น เมื่อเพิ่มความสนใจให้กับความสัมผัส ก็จะลดความสนใจให้กับการได้ยินและการเห็น

การแลดู

ไม่มีความจำเป็นที่ตาจะต้องเพ่งดูจุด ๆ หนึ่งเพียงแค่จุดเดียวเพื่อจะประสานข้อมูลทางหูและทางตาเพื่อรับรู้คำพูด ไม่มีความแตกต่างกันเมื่อผู้ฟังพุ่งความสนใจไปในส่วนอื่นของหน้าผู้พูด แต่ว่า ปรากฏการณ์นี้จะไม่มีเลยถ้าผู้ฟังพุ่งความสนใจไปในที่อื่นนอกจากใบหน้าของผู้พูด เพื่อที่จะให้ปรากฏการณ์นี้ลดไปเหมือนกับไม่มีเลย การเพ่งดูของผู้ฟังต้องย้ายไปจากปากของผู้พูดไปอย่างน้อย 60 ดีกรี

ผลในผู้พูดภาษาอื่น ๆ

คนทุกภาษาต้องอาศัยข้อมูลทางตาไม่มากก็น้อยในการรับรู้คำพูด แต่ว่า ระดับของปรากฏการณ์นี้เป็นไปต่างกันในภาษาที่ต่าง ๆ กัน ผู้ฟังภาษาดัตช์ภาษาอังกฤษ ภาษาสเปน ภาษาเยอรมัน และภาษาอิตาลีมีปรากฏการณ์แม็คเกอร์กที่ชัดเจน แต่ว่าปรากฏในระดับที่อ่อนกว่าในผู้ฟังภาษาญี่ปุ่นและภาษาจีน

งานวิจัยระหว่างภาษามักจะทำการเปรียบเทียบระหว่างภาษาอังกฤษและภาษาญี่ปุ่น และมีปรากฏการณ์นี้ในระดับที่ต่ำกว่าในผู้ฟังภาษาญี่ปุ่น วัฒนธรรมชาวญี่ปุ่นที่เลี่ยงการจ้องหน้าจ้องตาอาจมีผลในปรากฏการณ์นี้ นอกจากนั้นแล้ว การใช้เสียงสูงเสียงต่ำ (วรรณยุกต์) และโครงสร้างเกี่ยวกับพยางค์ของภาษา ก็อาจจะมีผลด้วยเช่นกัน นี้อาจเป็นเหตุผลที่ผู้ฟังภาษาจีนรับอิทธิผลจากการเห็นน้อย เหมือนกับผู้ฟังภาษาญี่ปุ่น คือประสบปรากฏการณ์นี้น้อยกว่าผู้ฟังภาษาอังกฤษ งานวิจัยหลายงานได้แสดงว่า ผู้ฟังภาษาญี่ปุ่นไม่ได้รับอิทธิพลทางตาในการประสบปรากฏการณ์นี้ ในระดับที่เพิ่มขึ้นในช่วงพัฒนาการหลังจากวัย 6 ปี ไม่เหมือนกับเด็กผู้ฟังภาษาอังกฤษ ผู้ฟังภาษาญี่ปุ่นสามารถบ่งชี้ว่า มีความขัดแย้งกันระหว่างตัวกระตุ้นทางหูและทางตาได้ดีกว่าผู้ฟังภาษาอังกฤษ นี่อาจจะมีส่วนเกี่ยวข้องกับความที่ภาษาญี่ปุ่นไม่มีพยัญชนะควบกล้ำ

อย่างไรก็ดี ในที่มีเสียงอึกทึกที่ทำให้คำพูดไม่สามารถเข้าใจได้ ทุกชาติทุกษาล้วนแต่ต้องอาศัยข้อมูลทางตา ดังนั้น จึงล้วนแต่ประสบกับปรากฏการณ์แม็คเกอร์ก ทฤษฎีนี้เป็นจริงกับทุกภาษาที่มีการตรวจสอบแล้ว

การตรวจสอบในทารก

โดยวัดระดับความใส่ใจต่อตัวกระตุ้นทางหูและทางตา ก็จะสามารถทดสอบการตอบสนองพร้อมกับปรากฏการณ์แม็คเกิร์กของทารกได้ ตั้งแต่อายุไม่กี่นาทีจนกระทั่งถึง 2-3 วัน ทารกสามารถเลียนแบบการเคลื่อนไหวทางใบหน้าของผู้ใหญ่ และภายในไม่กี่อาทิตย์ ก็จะสามารถรรู้จักการเคลื่อนไหวทางปากและเสียงพูด เมื่อถึงช่วงนี้ การประสานข้อมูลทางหูและทางตาอาจจะเกิดขึ้น แต่จะไม่มีความคล่องแคล่ว หลักฐานที่แสดงปรากฏการณ์แม็คเกิร์กสามารถเริ่มเห็นได้เมื่อทารกถึงวัย 4 เดือน แต่ถึงกระนั้น หลักฐานสามารถพบได้มากกว่าในทารกวัย 5 เดือน โดยสร้างความความเคยชินให้กับทารกต่อตัวกระตุ้นบางอย่าง แล้วก็เปลี่ยนตัวกระตุ้นไปเป็นอย่างอื่น (หรือเปลี่ยนเป็นบางส่วนเช่น จากเสียง บา โดยมีภาพออกเสียงว่า วา ไปเป็นเสียง ดา มีภาพออกเสียงว่า วา) การตอบสนองของทารกที่แสดงปรากฏการณ์แม็คเกิร์กก็จะปรากฏอย่างชัดเจน ระดับของปรากฏการณ์นี้มีการพัฒนาอย่างมีแบบแผนที่เพิ่มขึ้นเรื่อย ๆ ในวัยเด็กและแม้กระทั่งเมื่อถึงความเป็นผู้ใหญ่

บรรณานุกรม

• Wright, Daniel and Wareham, Gary (2005); "Mixing sound and vision: The interaction of auditory and visual information for earwitnesses of a crime scene," Legal and Criminological Psychology, Vol 10(1), pp. 103-108.

เชิงอรรถและอ้างอิง

1. Nath, A.R. & Beauchamp, M.S. (2011). A neural basis for interindividual differences in the McGurk effect, a multisensory speech illusion. NeuroImage, 59(1), 781-787.
2. Calvert, G., Spence, C. & Stein, B. (2004). Handbook of multi sensory processes. Ipswich, MA:MIT Press
3. Boersma, P. (2006). A constraint based explanation of the McGurk effect.
4. Massaro, D. & Cohen, M. (2000). Tests of auditory-visual integration efficiency within the framework of the fuzzy logical model of perception. ‘‘Journal of Acoustical Society of America, 108’’(2), 784-789
5. McGurk H., MacDonald J. (1976). "Hearing lips and seeing voices". Nature. 264 (5588): 746–748. doi:10.1038/264746a0. PMID 1012311.
6. "Haskins Laboratories">"The McGurk Effect: Hearing lips and seeing voices". สืบค้นเมื่อ 2 October 2011.
7. Barutchu, Ayla (2008). "When /b/ill with /g/ill becomes /d/ill: Evidence for a lexical effect in audiovisual speech perception". European Journal of Cognitive Psychology. 20 (1): 1–11. doi:10.1080/09541440601125623. Unknown parameter |coauthors= ignored (|author= suggested) (help)
8. Colin, C., Radeau, M. & Deltenre, P. (2011). Top-down and bottom-up modulation of audiovisual integration in speech. European Journal of Cognitive Psychology, 17(4), 541-560
9. O’Shea, M. (2005). The Brain: A Very Short Introduction. Oxford University Press
10. คือเกิดขึ้นอย่างรวดเร็วโดยที่ไม่ต้องรอให้คำนั้นสิ้นสุดก่อน
11. Rosenblum, L.D. (2010). See what I’m saying: The extraordinary powers of our five senses. New York, NY: W. W. Norton & Company Inc.
12. Gentilucci, M. & Cattaneo, L. (2005). Automatic audiovisual integration in speech perception. Experimental Brain Research, 167(1), 66-75
13. Schmid, G., Thielmann, A. & Ziegler, W. (2009). The influence of visual and auditory information on the perception of speech and non-speech oral movements in patients with left hemisphere lesions. Clinical Linguistics and Phonetics, 23(3), 208-221
14. Baynes, K., Fummell, M. & Fowler, C. (1994). Hemispheric contributions to the integration of visual and auditory information in speech perception. Perception and Psychophysics, 55(6), 633-641
15. corpus callosum เป็นกลุ่มใยประสาทกลุ่มใหญ่ที่สุดที่เชื่อมต่อซีกสมองทั้งสองข้าง เพื่อประสานงานระบบการทำงานที่มีส่วนเหมือนกันหรือที่มีเฉพาะซีกสมองแต่ละข้าง
16. Nicholson, K., Baum, S., Cuddy, L. & Munhall, K. (2002). A case of impaired auditory and visual speech prosody perception after right hemisphere damage. Neurocase, 8, 314-322
17. Bastien-Toniazzo, M., Stroumza, A. & Cavé, C. (2009). Audio-visual perception and integration in developmental dyslexia: An exploratory study using the McGurk effect. Current Psychology Letters, 25(3), 2-14
18. พยัญชนะควบกล้ำ คือ กลุ่มของพยัญชนะที่เป็นไปติดต่อกันโดยไม่มีสระในระหว่าง
19. specific language impairment (SLI) เป็นคำวินิจฉัยสำหรับเด็กที่มีทักษะด้านภาษาที่ไม่พัฒนาตามปกติ ที่ไม่สามารถกำหนดได้ด้วยการพัฒนาช้ากว่าปกติโดยทั่ว ๆ ไป ด้วยความผิดปกติในอวัยวะที่ใช้พูด ด้วยโรคประเภทออทิซึม ด้วยความเสียหายที่เกิดขึ้นใหม่ในสมอง หรือด้วยการสูญเสียการได้ยิน
20. Norrix, L., Plante, E., Vance, R. & Boliek, C. (2007). Auditory-visual integration for speech by children with and without specific language impairment. Journal of Speech, Language, and Hearing Research, 50, 1639-1651
21. โรคกลุ่มออทิซึมสเปกตรัม (autism spectrum) เป็นคำเรียกโรคต่าง ๆ ที่เป็นความผิดปกติทางการพัฒนาที่แผ่ไปทั่ว (pervasive developmental disorder) นิยามไว้ในคู่มือการวินิจฉัยและสถิติสำหรับความผิดปกติทางจิต (DSM) ว่ารวมกลุ่มอาการต่าง ๆ คือ ออทิซึม กลุ่มอาการแอสเปอร์เจอร์ ความผิดปกติทางการพัฒนาที่แผ่ไปทั่วอื่น ๆ กลุ่มอาการเฮ็ลเลอร์ และกลุ่มอาการเร็ตต์
22. Mongillo, E., Irwin, J., Whalen, D. & Klaiman, C. (2008). Audiovisual processing in children with and without autism spectrum disorders. Journal of Autism and Developmental Disorders, 38, 1349-1358
23. Taylor, N., Isaac, C. & Milne, E. (2010). A comparison of the development of audiovisual integration in children with autism spectrum disorders and typically developing children. Journal of Autism and Developmental Disorders, 40, 1403-1411
24. Norrix, L., Plante, E. & Vance, R. (2006). Auditory-visual speech integration by adults with and without language-learning disabilities. Journal of Communication Disorders, 39, 22-36
25. Delbeuck, X., Collette, F. & Van der Linden, M. (2007). Is Alzheimer’s disease a disconnection syndrome? Evidence from a crossmodal audio-visual illusory experiment. Neuropsychologia, 45, 3315-3323
26. Pearl, D., Yodashkin-Porat, D., Nachum, K., Valevski, A., Aizenberg, D., Sigler, M., Weizman, A. & Kikinzon, L. (2009). Differences in audiovisual integration, as measured by McGurk phenomenon, among adult and adolescent patients with schizophrenia and age-matched healthy control groups. Comprehensive Psychology, 50, 186-192
27. Youse, K., Cienkowski, K. & Coelho, C. (2004). Auditory-visual speech perception in an adult with aphasia. Brain Injury, 18(8), 825-834
28. Rouger, J., Fraysse, B., Deguine, O. & Barone, P. (2008). McGurk effects in cochlear-implanted deaf subjects. Brain Research, 1188, 87-99
29. Green, K.P., & Gerdeman, A. (1995). Cross-modal discrepancies in coarticulation and the integration of speech information: The McGurk effect with mismatched vowels. Journal of Experimental Psychology: Human Perception and Performance, 21(6), 1409-1426
30. Walker, S., Bruce, V. & O’malley, C. (1995). Facial identity and facial speech processing: Familiar faces and voices in the McGurk effect. Perception & Psychophysics, 57(8), 1124-1133
31. Nicholls, M., Searle, D., & Bradshaw, J. (2004). Read my lips: Asymmetries in the visual expression and perception of speech revealed through the McGurk effect. Psychological Science, 15(2), 138-141
32. Tiippana, K., Andersen, T.S. & Sams, M. (2004). Visual attention modulates audiovisual speech perception. European Journal of Cognitive Psychology, 16(3), 457-472
33. Irwin, J.R, Whalen, D.H. & Fowler, C.A. (2006). A sex difference in visual influence on heard speech. Perception and Psychophysics, 68(4), 582-592
34. Green, K., Kuhl, P., Meltzoff, A. & Stevens, E. (1991). Integrating speech information across talkers, gender, and sensory modality: Female faces and male voices in the McGurk effect. Perception and Psychophysics, 50(6), 524-536
35. Mindmann, S. (2004). Effects of sentence context and expectation on the McGurk illusion. Journal of Memory and Language, 50(1), 212-230
36. Sams, M., Mottonen, R. & Sihvonen, T. (2005). Seeing and hearing others and oneself talk. Cognitive Brain Research, 23(1), 429-435
37. Munhall, K., Gribble, P., Sacco, L. & Ward, M. (1996). Temporal constraints on the McGurk effect. Perception and Psychophysics, 58(3), 351-362
38. Alsius, A., Navarra, J. & Soto-Faraco, S. (2007). Attention to touch weakens audiovisual speech integration. Experimental Brain Research, 183(1), 399-404. doi:10.1007/s00221-007-1110-1
39. Paré, M., Richler, C., Hove, M. & Munhall, K. (2003). Gaze behavior in audiovisual speech perception: The influence on ocular fixations on the McGurk effect. Perception and Psychophysics, 65(4), 533-567
40. Sekiyama, K. (1997). Cultural and linguistic factors in audiovisual speech processing: The McGurk effect in Chinese subjects. Perception and Psychophysics 59(1), 73-80
41. Bavo, R., Ciorba, A., Prosser, S. & Martini, A. (2009). The McGurk phenomenon in Italian listeners. Acta Otorhinolaryngologica Italica, 29(4), 203-208
42. Hisanaga, S., Sekiyama, K., Igasaki, T. & Murayama, N. (2009). Audiovisual speech perception in Japanese and English: Inter-language differences examined by event-related potentials. Retrieved from http://www.isca-speech.org/archive_open/avsp09/papers/av09_038.pdf
43. Sekiyama, K. & Burnham, D. (2008). Impact of language on development of auditory-visual speech perception. Developmental Science 11(2), 306-320
44. Sekiyama, K. & Tohkura, Y. (1991). McGurk effect in non-English listeners: Few visual effects for Japanese subjects hearing Japanese syllables of high auditory intelligibility. Journal of Acoustical Society of America, 90(4, Pt 1), 1797-1805
45. Wu, J. (2009). Speech perception and the McGurk effect: A cross cultural study using event-related potentials. Dissertation
46. Gelder, B., Bertelson, P., Vroomen, J. & Chin Chen, H. (1995). Inter-language differences in the McGurk effect for Dutch and Cantonese listeners. Retrieved from http://www.isca-speech.org/archive/eurospeech_1995/e95_1699.html
47. Bristow, D., Dehaene-Lambertz, G., Mattout, J., Soares, C., Gliga, T., Baillet, S. & Mangin, J.F. (2009). Hearing faces: How the infant brain matches the face it sees with the speech it hears. Journal of Cognitive Neuroscience, 21(5), 905-921
48. Burnham, D. & Dodd, B. (2004). Auditory-Visual Speech Integration by Prelinguistic Infants: Perception of an Emergent Consonant in the McGurk Effect. Developmental Psychobiology, 45(4), 204-220
49. Rosenblum, L.D., Schmuckler, M.A. & Johnson, J.A. (1997). The McGurk effect in infants. Perception & Psychophysics, 59(3), 347-357
50. Woodhouse, L., Hickson, L. & Dodd, B. (2009). Review of visual speech perception by hearing and hearing-impaired people: Clinical implications. International Journal of Language and Communication Disorders, 44(3), 253-270
51. Kushnerenko, E., Teinonen, T., Volein, A. & Csibra, G. (2008). Electrophysiological evidence of illusory audiovisual speech percept in human infants. Proceedings of the National Academy of Sciences of the United States of America, 105(32), 11442-11445

แหล่งข้อมูลอื่น

• รายการที่ youtube.com แสดงปรากฏการณ์แม็คเกิร์ก "Try The McGurk Effect! - Horizon: Is Seeing Believing?", BBC Two ที่นาที 0.32 แสดงการออกเสียง "บา" โดยมีเสียงออกมาว่า "บา" (เสียงกับภาพคล้องจองกัน) ที่นาที 0.51 แสดงการออกเสียง "ฟา" โดยมีเสียงออกมาว่า "บา" (เสียงกับภาพไม่คล้องจองกัน) ถ้าผู้ฟังประสบกับปรากฏการณ์แม็คเกอร์ก ก็จะรับรู้เสียงพยางค์ว่า "ฟา" ส่วนที่นาที 1.17 มีเสียงออกมาว่า "บา" แสดงการออกเสียงว่า "ฟา" ทางด้านซ้าย และแสดงการออกเสียงว่า "บา" ทางด้านขวา ให้ตั้งสมาธิที่ภาพด้านซ้ายก่อน แล้วให้สังเกตว่าได้ยินเสียงอะไร แล้วตั้งสมาธิในภาพด้านขวา แล้วสังเกตว่าได้ยินเสียงอะไร เสียงที่อัดทับไว้จริง ๆ แล้ว เป็นเสียง "บา" ทั้งหมด
• youtube.com แสดงปรากฏการณ์แม็คเกิร์ก
• A constraint-based explanation of the McGurk effect a write up of the McGurk effect by Paul Boersma of University of Amsterdam. PDF available from academic webpage of author.