وفاداری ضعیف ممکن است به این معنا باشد که راهبردهای آموزشی مؤثر هرگز روشن نمی شوند

یک مطالعه هشدار داده است که مداخلات آموزشی جدید امیدوارکننده به طور بالقوه “بی جهت کنار گذاشته می شوند” زیرا آزمایشات برای آزمایش اثربخشی آنها ممکن است به اندازه کافی به تحقیق اصلی وفادار نباشد.

این نکته هشداری پس از آن مطرح شد که محققان یک شبیه‌سازی رایانه‌ای در مقیاس بزرگ از بیش از 11000 آزمایش تحقیقاتی را برای بررسی میزان تأثیر «وفاداری» بر نتایج انجام دادند. در علم و علوم اجتماعی، «وفاداری» میزانی است که آزمون‌های ارزیابی یک نوآوری جدید به طرح آزمایش اصلی که آن نوآوری بر آن استوار است، پایبند است.

دقیقاً به همان روشی که دانشمندان داروی جدید را قبل از تأیید آزمایش می‌کنند، استراتژی‌های جدید برای بهبود یادگیری اغلب در مدارس یا سایر محیط‌ها قبل از عرضه به طور کامل ارزیابی می‌شوند.

بسیاری از نوآوری‌ها در این مرحله رد می‌شوند، زیرا آزمایش‌ها نشان می‌دهند که منجر به پیشرفت کم یا عدم پیشرفت یادگیری می‌شوند. با این حال، دانشگاهیان برای مدتی نگرانی‌هایی را ابراز کرده‌اند که در برخی موارد از دست دادن وفاداری می‌تواند محاکمه را به خطر بیندازد. در بسیاری از موارد، وفاداری به طور مداوم اندازه گیری یا گزارش نمی شود.

مطالعه جدید این نظریه را مورد آزمایش قرار داد. محققان دانشگاه کمبریج و دانشگاه کارنگی ملون هزاران آزمایش مدل‌سازی شده کامپیوتری را انجام دادند که میلیون‌ها شرکت‌کننده شبیه‌سازی شده را نشان دادند. آنها سپس بررسی کردند که تغییرات در وفاداری تا چه حد باعث تغییر “اندازه اثر” مداخله شده است.

آنها دریافتند که حتی انحرافات نسبتاً ظریف در وفاداری می تواند تأثیر قابل توجهی داشته باشد. به ازای هر 5 درصد از وفاداری از دست رفته در آزمایش های پیگیری شبیه سازی شده، اندازه اثر به میزان 5 درصد کاهش می یابد.

در زمینه‌های زندگی واقعی، این می‌تواند به این معنا باشد که برخی از نوآوری‌های با پتانسیل بالا برای استفاده نامناسب تلقی می‌شوند، زیرا وفاداری کم نتایج را مخدوش می‌کند. این مطالعه خاطرنشان می‌کند: «نگرانی فزاینده‌ای وجود دارد که تعداد قابل‌توجهی از یافته‌های بیهوده در مداخلات آموزشی… می‌تواند به دلیل عدم وفاداری باشد، که منجر به حذف غیرضروری برنامه‌های بالقوه صحیح می‌شود».

این یافته‌ها ممکن است به‌ویژه برای سازمان‌هایی مانند بنیاد آموزش و پرورش (EEF) در بریتانیا، یا What Works Clearinghouse در ایالات متحده مفید باشد، که هر دو تحقیقات جدید آموزش را ارزیابی می‌کنند. EEF نتایج آزمایش های پروژه را در وب سایت خود گزارش می دهد. در حال حاضر، بیش از سه مورد از هر پنج گزارش نشان می‌دهد که مداخله‌ای که مورد آزمایش قرار گرفته است منجر به پیشرفت یا پیشرفت منفی برای دانش‌آموزان نشده است.

میشل الفسون، پروفسور علوم شناختی در دانشکده آموزش دانشگاه کمبریج، گفت: “پول های زیادی در این آزمایش ها سرمایه گذاری می شود، بنابراین ما باید به دقت بررسی کنیم که چقدر آنها برای وفاداری کنترل می کنند. تکرارپذیری در تحقیقات بسیار زیاد است. مهم است، اما خطر این است که به دلیل نقض وفاداری و ایجاد شکاف اعتماد غیرضروری بین معلمان و محققان، مداخلات امیدوارکننده را کنار بگذاریم.”

دانشگاهیان اغلب به «بحران تکرار» اشاره کرده‌اند، دقیقاً به این دلیل که بازتولید نتایج بسیاری از مطالعات دشوار است. در آموزش، آزمایشات اغلب توسط ترکیبی از معلمان و محققان انجام می شود. مطالعات بزرگ‌تر، به‌ویژه، فرصت‌های فراوانی را برای از دست دادن وفاداری ناخواسته ایجاد می‌کنند، چه از طریق عوامل انسانی (مانند خواندن نادرست دستورالعمل‌های تحقیق)، یا تغییرات در محیط تحقیق (به عنوان مثال در زمان‌بندی یا شرایط آزمون).

الفسون و پروفسور دانیل اوپنهایمر از دانشگاه کارنگی ملون یک کارآزمایی کنترل تصادفی مبتنی بر کامپیوتر را توسعه دادند که در وهله اول، یک مداخله خیالی را در 40 کلاس درس، که هر کلاس 25 دانش آموز داشت، شبیه سازی کرد. آنها بارها و بارها این کار را انجام دادند و هر بار مجموعه‌ای از متغیرها را تنظیم کردند – از جمله اندازه اثر بالقوه مداخله، سطح توانایی دانش‌آموزان، و وفاداری خود کارآزمایی.

در مدل‌های بعدی، آن‌ها عناصر اضافی و گیج‌کننده‌ای را اضافه کردند که ممکن است بر نتایج تأثیر بگذارد – برای مثال، کیفیت منابع در مدرسه، یا این واقعیت که معلمان بهتر ممکن است دانش‌آموزانی با عملکرد بالاتر داشته باشند. این مطالعه جایگزین‌های نماینده متغیرهایی را که آنها معرفی کردند، ترکیب کرد و در مجموع 11055 کارآزمایی را مدل‌سازی کرد.

به طور قابل توجهی، در کل مجموعه داده ها، نتایج نشان داد که به ازای هر 1٪ از وفاداری از دست رفته در یک کارآزمایی، اندازه اثر مداخله نیز 1٪ کاهش می یابد. این تطابق 1:1 به این معنی است که حتی یک کارآزمایی با، به عنوان مثال، 80% وفاداری، کاهش قابل توجهی در اندازه اثر مشاهده می‌کند که ممکن است در ارزش مداخله مورد آزمایش تردید ایجاد کند.

سپس یک تجزیه و تحلیل دانه‌بندی‌تر نشان داد که اثر تلفات وفاداری در جایی که اندازه اثر بزرگ‌تری پیش‌بینی می‌شود بیشتر است. به عبارت دیگر، امیدوارکننده‌ترین نوآوری‌های پژوهشی نیز نسبت به نقض وفاداری حساس‌تر هستند.

اگرچه عوامل مخدوش کننده این رابطه کلی را تضعیف کردند، اما وفاداری به مراتب بیشترین تأثیر را بر اندازه اثر در تمام آزمایش هایی که محققان انجام دادند داشت.

الفسون و اوپنهایمر پیشنهاد می‌کنند که سازمان‌هایی که کارآزمایی‌های تحقیقاتی انجام می‌دهند ممکن است بخواهند فرآیندهای محکم‌تری برای اطمینان، اندازه‌گیری و گزارش‌دهی درستی ایجاد کنند تا توصیه‌هایشان تا حد امکان قوی باشد. مقاله آنها به تحقیقات در سال 2013 اشاره می کند که نشان می دهد فقط 29٪ از مطالعات مداخله بعد از مدرسه وفاداری را اندازه گیری می کنند، و مطالعه دیگری در سال 2010 که نشان می دهد فقط 15٪ از مطالعات مداخله مددکاری اجتماعی داده های وفاداری را جمع آوری می کند.

اوپنهایمر گفت: “زمانی که از معلمان خواسته می شود روش های تدریس جدید را امتحان کنند، طبیعی است – شاید حتی قابل تحسین – که آنها بخواهند این روش را با نیازهای دانش آموزان خاص خود تطبیق دهند.” رعایت دقیق دستورالعمل ها ضروری است. در غیر این صورت محققین نمی توانند بدانند که آیا مداخله به طور کلی موثر خواهد بود یا خیر. برای تیم های تحقیقاتی نظارت و سنجش وفاداری در مطالعات بسیار مهم است تا بتوانند نتایج معتبری به دست آورند.”

الفسون گفت: “بسیاری از سازمان ها کار بزرگی را در ارزیابی مستقل تحقیقات انجام می دهند، اما آنها باید مطمئن شوند که وفاداری هم اندازه گیری شده و هم با دقت بررسی می شود. گاهی اوقات پاسخ درست زمانی که یافته ها قابل تکرار نیستند، ممکن است رد کردن تحقیق به طور کامل نباشد، بلکه باید اطمینان حاصل کنند که عقب نشینی کنید و بپرسید که چرا ممکن است در یک مورد کار کند، اما در مورد دیگر نه؟»

یافته ها در منتشر شده است روشهای روانشناسی.

---

---

اطلاعات بیشتر:
آیا تکرار بدون وفاداری امکان پذیر است؟ روشهای روانشناسی، 2022.