ความเอนเอียงของผู้ทดลอง

ในวิทยาศาสตร์เชิงทดลอง ความเอนเอียงของผู้ทดลอง (อังกฤษ: experimenter's bias) เป็นความเอนเอียงที่เป็นอัตวิสัยที่เกิดขึ้นโดยโน้มน้าวไปทางค่าผลที่คาดหวังโดยผู้ทำการทดลอง ยกตัวอย่างเช่น ความเอนเอียงที่เกิดขึ้นเมื่อนักวิทยาศาสตร์มีอิทธิพลโดยไม่รู้ตัวต่อผู้ร่วมการทดลองหรือสัตว์ทดลอง เช่นในกรณีของม้าคเลเวอร์แฮนส์

ปรากฏการณ์ความคาดหมายของผู้สังเกตการณ์

ผู้ทำการทดลองสามารถมีความเอนเอียงทางประชาน (cognitive bias) ในงานทดลองได้โดยรูปแบบต่าง ๆ ซึ่งแบบหนึ่งก็คือความเอนเอียงที่เรียกว่า ปรากฏการณ์ความคาดหมายของผู้สังเกตการณ์ (อังกฤษ: observer-expectancy effect) ซึ่งผู้ทำการทดลองอาจสื่อความหวังความคาดหมายที่ละเอียดสุขุม แม้จะไม่ตั้งใจ จะโดยปาก (เช่นน้ำเสียง) หรือโดยอาการกิริยาก็ได้ เกี่ยวกับผลที่ต้องการในงานศึกษา ให้กับผู้ร่วมการทดลองรับรู้ มีอิทธิพลให้ผู้ร่วมการทดลองเปลี่ยนพฤติกรรมของตนให้เป็นไปตามความคาดหมาย

ข้อมูลเพิ่มเติม: คเลเวอร์แฮนส์

ตัวอย่างตามประวัติที่รู้จักกันดีก็คือ คเลเวอร์แฮนส์ (Clever Hans) ซึ่งเป็นม้าพันธุ์รัสเซีย (Orlov Trotter) ที่มีการอ้างว่า สามารถคิดเลขง่าย ๆ และแก้ปัญหาใช้สติปัญญาอื่น ๆ บางอย่างได้ แต่ว่าหลังจากมีการตรวจสอบในปี ค.ศ. 1907 นักจิตวิทยาชาวเยอรมันออสการ์ ฟังกสต์ ก็ได้แสดงหลักฐานว่า เจ้าม้าไม่ได้ทำงานทางสติปัญญาเหล่านั้นได้จริง ๆ คือ มันเพียงแต่สังเกตปฏิกิริยาของพวกมนุษย์ที่กำลังดูมันทำงานอยู่เท่านั้น

โดยผ่านการทดสอบเป็นจำนวนมาก ฟังกสต์พบว่า แฮนส์สามารถตอบคำถามได้อย่างถูกต้องแม้ว่าตัวเจ้าของคือนายวอน ออสเต็นเองจะไม่ได้เป็นคนถาม ซึ่งแสดงว่าไม่ใช่เป็นการหลอกลวง แต่ว่า แฮนส์สามารถจะตอบคำถามได้ก็ต่อเมื่อผู้ถามรู้คำตอบ และแฮนส์สามารถมองเห็นผู้ถามได้ ฟังกสต์พบว่า เมื่อตัวนาววอน ออสเต็นเอง รู้คำตอบ แฮนส์จะตอบคำถามได้อย่างถูกต้องถึง 89% แต่เมื่อไม่รู้ แฮนส์จะตอบถูกเพียงแค่ 6%

จากนั้น ฟังกสต์จึงดำเนินการตรวจสอบพฤติกรรมของผู้ถามอย่างละเอียด แล้วพบว่า เมื่อม้ากำลังเคาะกีบเท้าเป็นจำนวนใกล้ถึงคำตอบ ลักษณะท่าทางและสีหน้าของผู้ถามคำถามจะเปลี่ยนไปตามความตื่นเต้นที่มีเพิ่มขึ้น ซึ่งจะหมดสิ้นไปโดยทันทีที่ม้าเคาะกีบเท้าเป็นครั้งสุดท้ายที่แสดงคำตอบที่ถูกต้อง นี่เป็นตัวช่วยให้ม้ารู้ว่าเมื่อไรควรจะหยุดเคาะกีบเท้า

หลักฐานของความเอนเอียงเช่นนี้ก็พบด้วยในงานศึกษาเกี่ยวกับมนุษย์ คือ มีการแบ่งผู้ร่วมการทดลองออกเป็นสองกลุ่ม เป็นกลุ่มที่มีลักษณะต่าง ๆ คล้ายกัน และให้มีการทำงานอย่างเดียวกัน ซึ่งก็คือให้ให้คะแนนรูปคนที่ดู และให้ประเมินว่า คนเหล่านี้จะมีความสำเร็จในชีวิตเท่าไร โดยให้คะแนนระหว่าง -10 ถึง 10 แต่ว่า ในกลุ่มแรก มีการบอกผู้ทำการทดลองว่า จะมีผลบวก และในกลุ่มที่สอง มีการบอกผู้ทำการทดลองว่า จะมีผลลบ ผู้ร่วมการทดลองในกลุ่มแรกให้ค่าประเมินที่สูงกว่ากลุ่มที่สอง ผู้ที่ทำงานวิจัยนี้อธิบายว่า ผลเช่นนี้เกิดขึ้นเพราะผู้ทำการทดลองส่งสัญญาณบางอย่างที่ละเอียดสุขุมให้ผู้ร่วมการทดลองรับรู้ได้ เหมือนกับนายวอน ออสเต็นส่งสัญญาณให้คเลเวอร์แฮนส์

ปรากฏการณ์ความคาดหมายของผู้สังเกตการณ์สามารถลดได้ โดยทำงานทดลองแบบบอดสองทาง (double-blinded experiment) เช่นในการทดลองยาของบริษัทยา จะมีการจัดคนไข้ที่รับยาโดยสุ่ม ให้อยู่ในกลุ่มทดลองซึ่งจะได้รับยาที่เป็นประเด็นการทดลอง หรือในกลุ่มควบคุมซึ่งจะได้รับยาหลอก ทั้งตัวคนไข้เองและคนที่ทำการทดลองจะไม่รู้ว่าคนไข้อยู่ในกลุ่มไหน (คือบอดสองทาง) เมื่อผู้ทำการทดลองไม่รู้ว่าคนไข้อยู่ในกลุ่มไหน ก็จะไม่สามารถส่งสัญญาณที่ไม่ได้ตั้งใจกับคนไข้ว่าตนเองคิดว่า ยาที่ให้ควรจะมีผลอย่างไรกับคนไข้

ความเอนเอียงในงานวิจัย 7 ระยะ

งานปริทัศน์เกี่ยวกับความเอนเอียงที่พบในการทดลองทางคลินิกในปี ค.ศ. 1979 แสดงว่า ความเอนเอียงต่าง ๆ สามารถเกิดขึ้นได้ในงานวิจัยงานใดงานหนึ่งใน 7 ระยะ คือ

1. เมื่อสืบหาข้อมูลที่มีอยู่แล้วในฟิลด์
2. เมื่อกำหนดและเลือกตัวอย่างงานวิจัย
3. เมื่อทำการทดลอง (เช่นการให้ยา)
4. เมื่อวัดค่าตัวแปรที่เป็นประเด็นศึกษา และผล
5. เมื่อวิเคราะห์ข้อมูล
6. เมื่อตีความหมายการวิเคราะห์ข้อมูล
7. เมื่อตีพิมพ์เผยแพร่ผลงานวิจัย

จริง ๆ แล้ว การที่มนุษย์ไม่สามารถดำรงความเป็นกลางได้โดยประการทั้งปวงเป็นแหล่งกำเนิดของความเอนเอียงต่าง ๆ เป็นปัญหาที่เกิดบ่อยที่สุดในสังคมศาสตร์และวิทยาศาสตร์การแพทย์สาขาต่าง ๆ ซึ่งมักต้องใช้การทดลองแบบบอดสองทาง (double blind) เพื่อหลีกเลี่ยงปัญหา แต่ว่า ความเอนเอียงของผู้ทดลองก็สามารถเกิดได้ในวิทยาศาสตร์เชิงกายภาพอื่น ๆ เช่น เมื่อมีการปัดเศษค่าที่วัด

ประเภทต่าง ๆ

ในปัจจุบัน เทคนิคการเก็บข้อมูลโดยอิเล็กทรอนิกส์หรือโดยคอมพิวเตอร์สามารถลดโอกาสเสี่ยงต่อความเอนเอียงนี้ได้อย่างมาก แต่ก็ยังสามารถเกิดขึ้นได้เมื่อใช้เทคนิคการวิเคราะห์ข้อมูลที่ออกแบบไม่ดี ปัญหาความเอนเอียงของผู้ทดลองไม่ได้รู้จักกันอย่างกว้างขวาง จนกระทั่งถึงคริสต์ทศวรรษ 1950 และ 1960 แต่ก็ยังจำกัดอยู่ในการทดลองและงานศึกษาทางการแพทย์ ในปี ค.ศ. 1979 ศาสตราจารย์ น.พ. เดวิด แซ็คเก็ตต์ (ผู้ทำงานบุกเบิกด้านแพทยศาสตร์อาศัยหลักฐาน) ได้ทำรายการความเอนเอียง 56 อย่างที่สามารถเกิดขึ้นเมื่อเลือกตัวอย่างและวัดค่าในการทดลองทางคลินิก โดยเกิดขึ้นในระยะต่าง ๆ 6 ระยะต้นของที่กล่าวมาแล้วคือ

1. เมื่อสืบหาข้อมูลที่มีอยู่แล้วในฟิลด์
   1. ความเอนเอียงต่าง ๆ ที่เกิดจากวาทศิลป์ (the biases of rhetoric)
   2. ความเอนเอียงว่าดี เพราะสิ่งที่ตีพิมพ์เผยแพร่บอกว่าดี (the all's well literature bias)
   3. ความเอนเอียงโดยการใช้แหล่งอ้างอิงจากฝ่ายเดียว (one-sided reference bias)
   4. ความเอนเอียงโดยการใช้แต่งานที่แสดงผลบวก (positive results bias)
   5. ความเอนเอียงโดยการใช้แต่งานที่เป็นเรื่องที่สนใจกันอย่างกว้างขวาง (hot stuff bias)
2. เมื่อกำหนดและเลือกตัวอย่างงานวิจัย
   1. ความเอนเอียงโดยเลือกกลุ่มตัวอย่างที่นิยม (popularity bias)
   2. centripetal bias
   3. referral filter bias
   4. diagnostic access bias
   5. diagnostic suspicion bias
   6. unmasking (detection signal) bias
   7. mimicry bias
   8. previous opinion bias
   9. ความเอนเอียงโดยใช้ขนาดตัวอย่างผิด (wrong sample size bias)
   10. admission rate (Berkson) bias
   11. prevalence-incidence (Neyman) bias
   12. diagnostic vogue bias
   13. diagnostic purity bias
   14. ความเอนเอียงโดยการเลือกกระบวนงาน (procedure selection bias)
   15. ความเอนเอียงโดยขาดข้อมูลคลินิก (missing clinical data bias)
   16. non-contemporaneous control bias
   17. starting time bias
   18. ความเอนเอียงโดยโรคที่รับไม่ได้ (unacceptable disease bias)
   19. migrator bias
   20. membership bias
   21. ความเอนเอียงโดยผู้ที่ไม่ได้ตอบ (non-respondent bias)
   22. ความเอนเอียงโดยอาสาสมัคร (volunteer bias)
3. เมื่อทำการทดลอง (เช่นการให้ยา)
   1. ความเอนเอียงโดยความปนเปื้อน (contamination bias)
   2. ความเอนเอียงโดยถอนตัว (withdrawal bias)
   3. compliance bias
   4. therapeutic personality bias
   5. ความเอนเอียงโดยตัวควบคุมเทียม (bogus control bias)
4. เมื่อวัดค่าตัวแปรที่เป็นประเด็นการทดลอง และผล
   1. ความเอนเอียงโดยการวัดที่ไม่ไวพอ (insensitive measure bias)
   2. underlying cause bias (rumination bias)
   3. end-digit preference bias
   4. apprehension bias
   5. unacceptability bias
   6. obsequiousness bias
   7. expectation bias
   8. substitution game
   9. ความเอนเอียงโดยเป็นข้อมูลครอบครัว (family information bias)
   10. exposure suspicion bias
   11. recall bias
   12. attention bias
   13. ความเอนเอียงเพราะเครื่องมือวัด (instrument bias)
5. เมื่อวิเคราะห์ข้อมูล
   1. ความเอนเอียงโดยนัยสำคัญที่กำหนดทีหลัง (post-hoc significance bias)
   2. data dredging bias (looking for the pony)
   3. scale degradation bias
   4. ความเอนเอียงโดยทำให้ดูเรียบร้อย (tidying-up bias)
   5. repeated peeks bias
6. เมื่อตีความหมายการวิเคราะห์ข้อมูล
   1. mistaken identity bias
   2. cognitive dissonance bias
   3. magnitude bias
   4. significance bias
   5. ความเอนเอียงโดยสหสัมพันธ์ (correlation bias)
   6. under-exhaustion bias

นอกจากนั้นแล้ว อิทธิพลของความเอนเอียงในวิทยาศาสตร์เชิงกายภาพ ก็ไม่ได้เป็นเรื่องที่รู้จักกันอย่างดีมาตั้งแต่ต้น

การป้องกัน

โดยหลักแล้ว ถ้าการวัดค่าในการทดลองมีความคมชัด (resolution หรือการแยกชัด) ที่ ${\displaystyle R}$  และถ้าผู้ทำการทดลองทำการวัดที่เป็นอิสระต่อกันและกัน ${\displaystyle N}$  ครั้ง ค่าเฉลี่ยทั้งหมดของค่าวัดจะมีความคมชัดที่ ${\displaystyle R/{\sqrt {N}}}$  (ซึ่งเป็น central limit theorem ของสถิติศาสตร์) นี่เป็นเทคนิคการทดลองที่สำคัญ เพื่อลดระดับความสุ่มของผลการทดลอง คือ โดยใช้การวัดค่าหลาย ๆ ครั้งที่เป็นอิสระต่อกันและกันทางสถิติแล้วใช้ค่าเฉลี่ย แต่ว่า มีหลายเหตุผลที่ความอิสระของการวัดค่าต่าง ๆ อาจจะไม่มี ซึ่งถ้าไม่มีแล้ว ค่าเฉลี่ยอาจจะไม่ได้มีคุณภาพที่ดีกว่า แต่อาจจะเป็นการสะท้อนถึงสหสัมพันธ์ที่มีระหว่างค่าวัดต่าง ๆ และความที่ไม่มีอิสระต่อกันและกัน

เหตุที่สามัญที่สุดของความไม่เป็นอิสระคือ systematic error (ความผิดพลาดเป็นระบบ) คือความผิดพลาดที่มีอิทธิพลต่อการวัดทั้งหมดเท่า ๆ กัน ทำให้ค่าวัดต่าง ๆ มีระดับสหสัมพันธ์สูง ดังนั้น ค่าเฉลี่ยจึงไม่ได้ดีกว่าค่าวัดค่าหนึ่ง ๆ ความเอนเอียงของผู้ทำการทดลองอาจเป็นเหตุอย่างหนึ่งของความไม่เป็นอิสระ

ในวิทยาศาสตร์การแพทย์ต่าง ๆ

ความซับซ้อนของระบบต่าง ๆ เกี่ยวกับสิ่งมีชีวิต และความเป็นไปไม่ได้ทางจริยธรรมที่จะทำการทดลองโดยมีกลุ่มควบคุมอย่างเต็มรูปแบบ ในสัตว์บางสปีชีส์หรือในมนุษย์ เป็นแหล่งกำเนิดของความเอนเอียงของผู้ทำการทดลองที่เกิดขึ้นบ่อยครั้ง และยากที่จะควบคุมได้ ความรู้ทางวิทยาศาสตร์เกี่ยวกับปรากฏการณ์ที่กำลังศึกษา และการกำจัดต้นเหตุของความเอนเอียงต่าง ๆ อย่างเป็นระบบ โดยพยายามตรวจจับตัวแปรสับสน (confounding factor) เป็นวิธีเดียวที่สามารถทำให้แยกแยะความสัมพันธ์กันระหว่างเหตุและผลที่แท้จริงได้ วิทยาการระบาดเป็นศาสตร์ที่มีการศึกษาเกี่ยวกับความเอนเอียงของผู้ทำการทดลองมากที่สุด เทียบกับสาขาวิทยาศาสตร์อื่น ๆ

งานศึกษาการรักษาโรคโดยพลังจิต (Spiritual Healing) แสดงให้เห็นว่า การออกแบบงานศึกษาสามารถทำให้เกิดความเอนเอียงของผู้ทำการทดลองในผลงานได้ คือ มีการเปรียบเทียบงานศึกษาสองงานที่พบว่า ความต่างกันที่สุขุมเล็กน้อยสามารถมีผลลบต่อผลงานการศึกษา ความแตกต่างที่ว่าก็คือผลที่คาดหวัง ว่าจะมีผลบวกหรือลบ แทนที่จะแสดงว่าเป็นผลบวกหรือผลว่าง (neutral)

มีงานวิจัยที่เผยแพร่ใน Journal of the Royal Society of Medicine (วารสารราชสมาคมแพทยศาสตร์) ในปี ค.ศ. 1995 ที่ศึกษาผลของการรักษาโรคโดยพลังจิต โดยใช้ค่าการเจริญเติบโตของเมล็ดผักกาดเป็นตัวแปรอิสระ เพื่อที่จะกำจัดปรากฏการณ์ยาหลอก งานวิจัยนี้แสดงผลบวก เพราะว่าตัวอย่างที่ได้นั้นเป็นไปตามความตั้งใจของผู้ทำการรักษาด้วยพลังจิตว่า ต้องการให้การรักษา "เกิดขึ้น" หรือ "ไม่เกิด" แต่เพราะว่าผู้ทำการรักษาเป็นคนรู้จักกับผู้ทำงานทดลอง ดังนั้น จึงมีการเพ่งเล็งว่า อาจจะมีความเอนเอียงของผู้ทำการทดลอง มีงานทดลองโดยสุ่มและมีกลุ่มควบคุมที่เผยแพร่ในวารสาร Pain (ความเจ็บปวด) ในปี ค.ศ. 2001 ต่อมา ซึ่งตรวจสอบประสิทธิผลของการรักษาโดยใช้พลังจิต (ทั้งระยะไกลและต่อหน้า) สำหรับการบำบัดความเจ็บปวดเรื้อรังในคนไข้ 120 คน ซึ่งมีการให้ผู้เลียนแบบสังเกตผู้ทำการรักษาว่าทำอะไร แล้วเลียนแบบท่าทางการรักษากับกลุ่มควบคุม โดยมีการนับถอยหลังทีละ 5 ตัวเลขในขณะที่ทำท่าทาง ซึ่งถือว่าเป็นความตั้งใจแบบ "ว่าง" (neutral) ไม่ใช่ความตั้งใจแบบ "ไม่รักษา" งานวิจัยพบว่า ทั้งกลุ่มทดลองและกลุ่มควบคุมมีระดับความเจ็บปวดที่ลดลง แต่ว่า

ไม่มีความแตกต่างโดยนัยสำคัญทางสถิติ ระหว่างกลุ่มรักษาและกลุ่มควบคุม...

(จึง)มีการสรุปว่า ผลโดยเฉพาะของการรักษา (ด้วยพลังจิต) ต่อหน้าหรือไกล ๆ เกี่ยวกับความเจ็บปวดเรื้อรัง ไม่สามารถที่จะแสดงได้

ในวิทยาศาสตร์กายภาพ

ถ้าข้อมูลสัญญาณที่ต้องการจะวัด จริง ๆ แล้วเล็กว่าแม้แต่ความคลาดเคลื่อนโดยการปัดเศษ (rounding error) และข้อมูลนั้นได้จากค่าเฉลี่ยของค่าวัดเป็นจำนวนมาก (over-averaged) ก็อาจจะมีการพบผลบวกในค่าเฉลี่ยนั้น แม้ว่าจริง ๆ แล้วผลบวกนั้นไม่มี (และเครื่องมือวัดที่แม่นยำกว่านั้นก็จะแสดงอย่างเป็นข้อสรุปได้ว่า ผลบวกนั้นไม่มี)

ตัวอย่างเช่น ถ้างานกำลังสืบหาค่าบางอย่างที่มีสมมติฐานว่าจะเปลี่ยนไปตามดาราคติ (sidereal variation) และมนุษย์ที่รู้เวลาดาราคติ (sidereal time) ของค่าที่วัด เป็นผู้ทำการปัดเศษ และค่าวัดเป็นร้อย ๆ จะได้รับการเฉลี่ยเพื่อแสดงข้อมูลสัญญาณ (คือความแตกต่างกันของค่าที่วัดตามดาราคติ) ที่มีค่าเล็กกว่าความคมชัด (resolution) ของเครื่องวัด ก็เป็นเรื่องที่ชัดว่า ข้อมูลสัญญาณบวกที่พบอาจจะมาจากการปัดเศษที่ไม่ได้ทำอย่างสุ่ม และไม่ได้มาจากเครื่องมือจริง ๆ ในกรณีเยี่ยงนี้ การทำการทดลองแบบบอดทางเดียวจะป้องกันปัญหาได้ คือถ้ามนุษย์ผู้ทำการปัดเศษไม่รู้เวลาดาราคติของค่าที่วัด ถึงแม้ว่า การปัดเศษจะไม่ได้ทำแบบสุ่ม แต่การทดลองนี้จะไม่ทำให้เกิดค่าแตกต่างที่ไม่จริง

ในนิติวิทยาศาสตร์

ความเอนเอียงของผู้ทดลองมีมูลฐานมาจากความโน้มเอียงทั่วไปของมนุษย์ ที่จะตีความข้อมูลให้คล้องจองกับความคาดหมายของตน ความโน้มเอียงเช่นนี้มีโอกาสสูงที่จะบิดเบือนผลการทดลองทางวิทยาศาสตร์ เมื่อข้อมูลที่ได้ไม่ชัดเจน และตัวนักวิทยาศาสตร์ได้รับอิทธิพลที่ไม่เกี่ยวข้องกับการทดลอง ที่จูงใจให้เกิดอารมณ์และความต้องการในผลบางอย่าง แม้ว่าทั่ว ๆ ไป คนจะไม่ทราบว่าเป็นเช่นนี้ ผู้วิเคราะห์ดีเอ็นเอเพื่อเป็นหลักฐานทางนิติ บ่อยครั้งต้องแก้ความไม่ชัดเจน (ของข้อมูลดีเอ็นเอที่ได้) โดยเฉพาะเมื่อต้องตีความหมายตัวหลักฐานที่ยากต่อการวิเคราะห์ ตัวอย่างเช่น

• มีดีเอ็นเอมาจากหลายคน
• เป็นดีเอ็นเอที่เริ่มเสื่อมสภาพแล้ว
• มีตัวอย่างน้อย

ดังนั้น หลักฐานทางนิติที่ได้จากการตรวจดีเอ็นเอจะสมบูรณ์ได้ก็ต่อเมื่อปัญหาความเอนเอียงของผู้สังเกตมีน้อยที่สุด

ในสังคมศาสตร์

หลังจากที่เก็บข้อมูลแล้ว ความเอนเอียงอาจจะเกิดขึ้นเมื่อทำการวิเคราะห์และตีความข้อมูล ยกตัวอย่างเช่น เมื่อตัดสินว่าจะใช้ตัวแปรไหนเป็นตัวควบคุม (control variable) ในการวิเคราะห์ นักสังคมศาสตร์มักจะต้องทำการประนีประนอมกันระหว่างการมีความเอนเอียงเพราะตัวแปรที่ไม่ได้เก็บข้อมูล (omitted-variable bias) และความเอนเอียงเพราะข้อปฏิบัติต่อข้อมูลหลังเก็บ (post-treatment bias)

ดูเพิ่ม

• ความเอนเอียง
• ความเอนเอียงในการตีพิมพ์
• ความเอนเอียงเพื่อยืนยัน

เชิงอรรถและอ้างอิง

1. Sackett, D. L. (1979). "Bias in analytic research". Journal of Chronic Diseases. 32 (1–2): 51–63. doi:10.1016/0021-9681(79)90012-2. PMID 447779.
2. Kantowitz, Barry H.; Roediger, Henry L. III; Elmes, David G. (2009). Experimental Psychology. Cengage Learning. p. 371. ISBN 978-0-495-59533-5. สืบค้นเมื่อ 2013-09-07.
3. "ศัพท์บัญญัติอังกฤษ-ไทย, ไทย-อังกฤษ ฉบับราชบัณฑิตยสถาน (คอมพิวเตอร์) รุ่น ๑.๑", ให้ความหมายของ observer ว่า "ผู้สังเกตการณ์" และของ expectancy ว่า "ความคาดหมาย"
4. "experimenter effect". the Skeptic's Dictionary. สืบค้นเมื่อ 2012-05-22.^{[ลิงก์เสีย]}
5. Rosenthal, R (1966). Experimenter effects in behavioral research. New York, NY: Appleton-Century-Crofts. p. 464.
6. Hodges, RD; Scofield, AM (1995). "Is spiritual healing a valid and effective therapy?". Journal of the Royal Society of Medicine. 88 (4): 203–207. PMC 1295164. PMID 7745566.CS1 maint: multiple names: authors list (link)
7. Abbot, NC, Harkness, EF, Stevinson, C, Marshall, FP, Conn, DA and Ernst, E. (2001). "Spiritual healing as a therapy for chronic pain: a randomized, clinical trial". Pain. 91 (1–2): 79–89. doi:10.1016/S0304-3959(00)00421-8. PMID 11240080.CS1 maint: multiple names: authors list (link)
8. Rosenthal, R. (1966). Experimenter Effects in Behavioral Research. NY: Appleton-Century-Crofts.
9. Risinger, D. M.; Saks, M. J.; Thompson, W. C.; Rosenthal, R. (2002). "The Daubert/Kumho Implications of Observer Effects in Forensic Science: Hidden Problems of Expectation and Suggestion". California Law Review. 90 (1): 1–56. doi:10.2307/3481305. JSTOR 3481305.
10. D. Krane, S. Ford, J. Gilder, K. Inman, A. Jamieson, R. Koppl, I. Kornfield, D. Risinger, N. Rudin, M. Taylor, W.C. Thompson (2008). "Sequential unmasking: A means of minimizing observer effects in forensic DNA interpretation". Journal of Forensic Sciences. 53 (4): 1006–1007. doi:10.1111/j.1556-4029.2008.00787.x. PMID 18638252.CS1 maint: multiple names: authors list (link)
11. King, Gary. "Post-Treatment Bias in Big Social Science Questions" (PDF). สืบค้นเมื่อ 2001-02-07.