เราอาจจะคุ้นเคยกับคำว่า "นัยสำคัญ" เช่น "แตกต่างอย่างมีนัยสำคัญ" "เพิ่มขึ้นอย่างมีนัยสำคัญ "ลดลงอย่างมีนัยสำคัญ" จากบทความเชิงวิชาการหลาย ๆ บทความ แต่ความหมายที่แท้จริงของคำว่า นัยสำคัญ คืออะไร มาลองทำความเข้าใจกัน

คำว่า "นัยสำคัญ" ทางสถิติหรืองานวิจัยนั้น แตกต่างจากเลขนัยสำคัญทางฟิสิกส์ โดยการทำงานวิจัยทั่วไปจะมีขั้นตอนเริ่มต้นจากการตั้งสมมติฐานหลัก (H_0) และสมมติฐานรอง (H_1)
สมมุติฐานหลัก (null hypothesis; H_0) พยากรณ์ว่าผลลัพธ์ไม่เป็นจริงเสมอ ไม่มีความเกี่ยวข้องหรือสัมพันธ์กันระหว่างตัวแปร หรือไม่มีความแตกต่างกันระหว่างกลุ่ม
สมมุติฐานรอง (alternative hypothesis; H_a หรือ H_1) เป็นการคาดการณ์หลักที่ผลลัพธ์เป็นจริง โดยมีความเกี่ยวข้องหรือสัมพันธ์กันระหว่างตัวแปร หรือมีความแตกต่างระหว่างกลุ่ม

เช่น

การฉีดวัคซีน xyz ไม่มีผลต่อการสร้างแอนติบอดีต่อเชื้อ COVID-19
การฉีดวัคซีน xyz มีผลต่อการสร้างแอนติบอดีต่อเชื้อ COVID-19

จากนั้นเลือกความน่าจะเป็นของระดับข้อผิดพลาดหรือระดับของนัยสำคัญ หรือค่าแอลฟา (α) ซึ่งส่วนใหญ่กำหนดค่าเป็น 0.05 แต่อาจมากกว่าหรือน้อยกว่านี้ได้ ในกรณีที่เป็นงานวิจัยที่ต้องการความแม่นยำสูง ความคลาดเคลื่อนต่ำ เช่น งานวิจัยด้านเภสัชศาสตร์หรือเกี่ยวข้องกับชีวิตมนุษย์ ก็อาจกำหนดให้มีค่าน้อยกว่านี้ คือ 0.01 หรือความเชื่อมั่น 99% ส่วนกรณีที่เป็นงานวิจัยอื่น ๆ เช่น งานวิจัยด้านการตลาด หรือไม่ต้องการความแม่นยำสูงมาก ก็อาจกำหนดค่านี้เป็น 0.1 หรือความเชื่อมั่น 90% ก็ได้

เมื่อทำการทดลองหรือสำรวจกลุ่มตัวอย่าง ซึ่งเป็นการทดสอบสมมติฐาน และคำนวณหาค่า p-value (probability value คือ ผลของการทดสอบสมมุติฐานว่ามีโอกาสเกิดขึ้นโดยบังเอิญอยู่เท่าไร) ออกมาได้ จะนำค่า p-value ไปเปรียบเทียบกับระดับนัยสำคัญที่กำหนดไว้ เพื่อตัดสินใจว่าจะปฏิเสธสมมติฐานหลักหรือไม่
ถ้า p value สูงกว่าระดับนัยสำคัญ คือ p > 0.05 หมายถึง สมมุติฐานหลักไม่ถูกหักล้าง และผลก็คือไม่มีนัยสำคัญทางสถิติ กรณีตัวอย่างคือ การฉีดวัคซีน xyz ไม่มีผลต่อการสร้างแอนติบอดีต่อเชื้อ COVID-19
ถ้า p value ต่ำกว่าระดับนัยสำคัญ คือ p < 0.05 หมายถึง สมมุติฐานหลักจะถูกแปลความเป็นหักล้าง และรายงานว่ามีนัยสำคัญ กรณีนี้คือ การฉีดวัคซีน xyz มีผลต่อการสร้างแอนติบอีต่อเชื้อ COVID-19 อย่างมีนัยสำคัญ

ดังนั้น เราจึงไม่เคยเห็นคำว่า แตกต่างอย่างไม่มีนัยสำคัญ หรือลดลงอย่างไม่มีนัยสำคัญ เพราะนั่นหมายถึงการปฏิเสธสมมติฐานหลัก หรือสมมติฐานหลักไม่เป็นจริงนั่นเอง

แม้ p-value จะบอกได้ว่า ควรยอมรับสมมติฐานหลักหรือไม่ แต่สิ่งที่ p-value บอกไม่ได้ก็มีอยู่เช่นกัน นั่นคือ ไม่สามารถบอกได้ว่าความแตกต่างอย่างมีนัยสำคัญนั้น แตกต่างมากน้อยเพียงใด หรือค่า P-value ที่น้อยสามารถทำให้เราสรุปได้ว่ามีหลักฐานทางสถิติที่ให้สนับสนุนให้ปฏิเสธสมมติฐานหลัก แต่ไม่ได้บอกว่าสมมติฐานทางเลือกนั้นเป็นจริงเสมอ เช่น ถ้ากำหนดระดับนัยสำคัญไว้ที่ 0.05 นั่นหมายความว่า มีโอกาส 5% ที่จะเกิดการปฏิเสธสมมติฐานหลัก ทั้ง ๆ ที่ แท้จริงแล้วสมมติฐานนั้นอาจจะเป็นจริงที่ระดับนัยสำคัญหนึ่ง (การตัดสินใจผิดพลาด)

อย่างไรก็ตาม ในกระบวนการศึกษาวิจัยนั้น ผลที่ได้รับก็มีโอกาสเกิดการผิดพลาดได้ ซึ่งสามารถจำกัดความผิดพลาดให้แคบลงได้ด้วยหลาย ๆ วิธี เช่น การเลือกกลุ่มตัวอย่าง นอกจากนี้ ในการศึกษาและทำงานวิจัยในเชิงลึกลงไป ยังมีรูปแบบของการวิจัย ค่าต่าง ๆ รวมถึงเครื่องมือในการวิเคราะห์ทางสถิติอีกมากมาย ซึ่งจะได้ผลงานและความรู้ที่น่าสนใจใหม่ ๆ ออกมาให้เราทุกคนได้เรียนรู้กันอยู่เสมอ