
新着記事
効果が低い?それは違います「実験モデルに不忠実な環境で行われた戦略」
実験モデルで得られた高成果を、教育現場に持ち込んでも効果が薄いときがあります。
実験モデルにより近い環境で行われずに低評価される有能な研究がいくつもあるようです。
Promising new education interventions are potentially being ‘unnecessarily scrapped’ because trials to test their effectiveness may be insufficiently faithful to the original research, a study has warned.
参照元:https://news.educ.cam.ac.uk/poor-fidelity-effective-education-strategies
– ケンブリッジ大学 University of Cambridge. –
有望な新しい教育的介入が、その効果を検証するための試験が元の研究に十分に忠実でないために、「不必要に破棄される」可能性がある、とある研究が警告しています。
この警告は、研究者が11,000以上の研究試験を大規模なコンピュータ・シミュレーションを行い、「忠実度」がどの程度結果に影響を与えるかを調べた結果、提起されたものです。
科学や社会科学の分野では、「忠実度」とは、新しい技術革新を評価する試験が、その技術革新の基となった元の実験の設計にどの程度まで忠実であるかということを指します。
科学者が新薬を承認する前にテストをするのと同じように、学習を改善するための新しい戦略は、多くの場合、学校などの環境で徹底的に評価されてから展開されます。
多くの革新的技術はこの段階で却下されます。
なぜなら、試験の結果、学習の進歩がほとんどないことが判明したからです。
しかし、学識経験者からは、フィデリティ(忠実性)が損なわれることによって、試験が危うくなるケースがあるという懸念の声が以前から上がっていました。
多くの場合、フィデリティは一貫して測定・報告されていません。
新しい研究では、この理論を検証しました。
ケンブリッジ大学とカーネギーメロン大学の研究者たちは、何百万人もの参加者を模擬した何千ものコンピュータ・モデル裁判を実施しました。
そして、忠実度の変化が介入の「効果量」をどの程度変化させるかを検証しました。
その結果、忠実度における比較的微妙な逸脱でさえも、大きな影響を与える可能性があることがわかりました。
シミュレーションのフォローアップテストで忠実度が5%下がるごとに、効果量も5%ずつ下がっていました。
現実の文脈では、このことは、忠実度が低いために結果がゆがめられ、高い可能性を秘めた革新的技術が使用に適さないものと判断されることを意味します。
この研究では、次のように指摘しています。
「教育的介入における相当数の無効な知見は、…忠実性の欠如に起因する可能性があり、その結果、健全なプログラムが不必要に破棄されることになるという懸念が高まっている。」
この研究結果は、英国のEducation Endowment Foundation(EEF)や米国のWhat Works Clearinghouseといった、新しい教育研究を評価する組織にとって特に有用であると思われます。
EEFは、プロジェクトの試行結果をウェブサイトで報告しています。
現在、報告書の5件中3件以上が、テストされた介入は生徒にとって何の進歩ももたらさなかったか、あるいはマイナスの進歩につながったことを示しています。
ケンブリッジ大学教育学部のミシェル・エレフソン教授(認知科学)は話します。
「このような試験には多額の資金が投入されているため、どの程度忠実性を制御しているかを注意深く観察する必要があります。研究の再現性は非常に重要ですが、危険なのは、忠実性に違反したために有望な介入を捨ててしまい、教師と研究者の間に不必要な信頼ギャップを生じさせてしまうことです。」
多くの研究結果の再現が困難であることから、まさに「再現性の危機」と学者たちは頻繁に言及してきました。
教育現場では、教員と研究者が混在して試験を行うことが多い。特に大規模な研究では、人的要因(研究指示の読み間違いなど)や研究環境の変化(テストのタイミングや条件など)により、不用意に忠実性が失われる可能性が十分にあるのです。
エレフソン氏とカーネギーメロン大学のダニエル・オッペンハイマー教授は、コンピュータを使った無作為化対照試験を開発しました。
この試験では、まず25人の生徒がいる40の教室で、架空の介入をシミュレートした。
彼らはこれを何度も繰り返し行い、その都度、介入の潜在的な効果の大きさ、生徒の能力レベル、試験自体の忠実度など、一連の変数を調整した。
例えば、学校内のリソースの質、優秀な教師にはより成績の良い生徒がいるかもしれないという事実などです。
この研究では、導入した変数の代表的な並べ替えを組み合わせ、合計11,055の試行をモデル化した。
驚くべきことに、データセット全体を通して、ある試験で忠実度が1%失われるごとに、介入の効果量も1%低下することが示されました。
この1対1の関係は、例えば80%の忠実度を持つ試験でさえ、効果量が著しく低下することを意味し、試験中の介入の価値を疑うことになるかもしれません。
より詳細な分析により、より大きな効果サイズが期待される場合、忠実性の喪失の影響がより大きくなる傾向があることが明らかになりました。
つまり、最も有望な研究の革新は、フィデリティ違反に対してもより敏感であるということです。
交絡因子はこの全体的な関係を弱めたが、研究者が実施したすべてのテストにおいて、フィデリティは効果量に圧倒的に大きな影響を及ぼしました。
エレフソン氏とオッペンハイマー氏は、研究試験を実施する組織は、忠実性を確保し、測定し、報告するためのより強固なプロセスを確立し、その勧告を可能な限り強固にすることが望ましいと示唆しています。
彼らの論文では、2013年の研究で、放課後の介入研究の29%しかフィデリティを測定していないこと、また2010年の別の研究では、ソーシャルワークの介入研究の15%しかフィデリティデータを収集していないことを指摘しています。
オッペンハイマー氏は話します。
「教師が新しい教育方法を試すように言われたとき、その方法を特定の生徒のニーズに合わせたいと思うのは自然なことであり、おそらく賞賛に値することです。しかし、信頼できる科学的試験を行うには、指示に正確に従うことが不可欠です。そうでなければ、研究者はその介入が広く有効であるかどうかを知ることができません。そうでなければ、研究者は、介入が広く有効であるかどうかを知ることができません。 研究チームにとって、有効な結論を導き出すことができるように、研究の忠実性を監視し、測定することは本当に重要です。」
エレフソン氏は続けます。
「多くの組織が研究を独自に評価するために素晴らしい仕事をしていますが、フィデリティの測定と綿密なチェックの両方を確実に行う必要があります。研究結果が再現できない場合の正しい対応は、研究を完全に否定することではなく、一歩下がって、なぜあるケースではうまくいったが、別のケースではうまくいかなかったのかを問うことかもしれません。」


この記事が気に入ったら
いいね または フォローしてね!
関連記事
-
男子生徒の学校へのモチベーション「スポーツと密接な関係にある」2022.05.22
-
時間はかかるが習得率が高い「習得における変動性の役割」2022.05.20
-
生徒が先生になる「反転授業のものすごい効果」2022.05.13
-
バーチャル教室でも育まれる「未就学児の読解力」2022.04.21
-
学習する仕組みの解析が進む「脳の感覚処理センターが果たす役割 」2022.03.27
-
モチベーションが大きく減退する「オフタイムに勉強・仕事をする影響」2022.03.09
-
授業の在り方が変わる?「コンピュータゲームを用いた教育の可能性」2022.03.08
-
アクションゲームをやるだけ「読解能力が大きく向上するプログラム」2022.01.19
新着記事
-
差異なく社会に適応している「異性の両親と同性の両親を持つ子どもたち」2022.05.24社会
-
数週間で心血管疾患リスクを低下「食事摂取を8時間に制限するモデル」2022.05.23健康
-
男子生徒の学校へのモチベーション「スポーツと密接な関係にある」2022.05.22学習
-
マッチングサービスに経済学「生徒と学校のマッチングを改善するモデル」2022.05.21社会
-
時間はかかるが習得率が高い「習得における変動性の役割」2022.05.20学習
-
やりすぎ注意「過度のスポーツトレーニングは気分に悪影響を与える」2022.05.19人体・脳
-
食料や土地の変革によって可能性が見えてくる「 世界の食料システムを排出量ゼロ 」2022.05.18社会
-
ポジティブな感情を強化、ネガティブな感情を保存「睡眠が感情を処理する仕組み」2022.05.17健康
-
人間に新しいことを学ぶ柔軟性と集中力を与える「しまった!という感覚」2022.05.16人体・脳
-
活用方法には注意が必要「ソーシャルメディアの付き合い方とメンタルヘルス」2022.05.15健康
よく読まれている記事
N E W S & P O P U L A R最 新 記 事 & 人 気 記 事
WHAT'S NEW !!
-
差異なく社会に適応している「異性の両親と同性の両親を持つ子どもたち」
【差異なく社会に適応している「異性の両親と同性の両親を持つ子どもたち」】 同性の両親、異性の両親、それぞれの親を持つ子供は差異なく社会に適応している事が示され... -
数週間で心血管疾患リスクを低下「食事摂取を8時間に制限するモデル」
【数週間で心血管疾患リスクを低下「食事摂取を8時間に制限するモデル」】 平日の食事摂取を8時間に制限した所、数週間後に心血管疾患リスクが低下するようです。 Usi... -
男子生徒の学校へのモチベーション「スポーツと密接な関係にある」
【男子生徒の学校へのモチベーション「スポーツと密接な関係にある」】 男子生徒は女子学生より学校への関心が低いようです。 Male students tend to be less intereste... -
マッチングサービスに経済学「生徒と学校のマッチングを改善するモデル」
【マッチングサービスに経済学「生徒と学校のマッチングを改善するモデル」】 多くの学生は居住所そばの小中学校に通いますが、自由に選択できるとしたら混乱になるでし...
-
なぜタイピングより手書きの方が、記憶に定着するのか
【なぜタイピングより手書きの方が、記憶に定着するのか】 ノルウェー科学技術大学の研究によると、手書きの方が物事をよく覚えることが判明しました。 様々なコンピュ... -
「世界最長寿記録を更新し132歳まで生きる人が出現する」ベイズ統計学予測
【「世界最長寿記録を更新し132歳まで生きる人が出現する」ベイズ統計学予測】 ベイズ統計学を用いると、最長寿記録122歳という世界記録はほぼ確実に破られ、125歳から1... -
記憶が脳に保存される新しい理論「MeshCODE理論」が開発される
ケント大学の研究チームは、記憶が脳に保存される新しい理論、MeshCODE理論を発表しました。この理論は、アルツハイマー病などの脳疾患の治療に役立つ可能性があります...
News
- 新着記事 -
Popular
- 人気記事 -
H A P P I N E S S幸 福
人気 (❁´ω`❁)
M E A L食 事
B R A I N脳
人気 (❁´ω`❁)
H E A L T H健 康
人気 (❁´ω`❁)
-
健康
高強度インターバルトレーニングは、適度な運動よりも心臓を強化する
【心臓を強化する高強度インターバルトレーニング】 ノルウェー科学技術大学の研究によると、トレーニングの強度が、病気の重症度を軽減し、心臓機能を改善し、作業能力... -
人体・脳
健康な脳を保ち老化を遅らせる「アマゾンの先住民族ツィマネ族の生活習慣」
【健康な脳を保ち老化を遅らせる「アマゾンの先住民族ツィマネ族の生活習慣」】 ボリビア・アマゾンの先住民族であるツィマネ族が、アメリカやヨーロッパの人々に比べて... -
人体・脳
寒冷散歩が脂肪燃焼を増幅させる理由
【寒冷散歩が脂肪燃焼を増幅させる理由】 ウィーン医科大学の研究チームが、寒冷化においてヒトとマウスのビタミンAのレベルが上昇する事を発見しました。 ビタミンAは...
-
健康
高強度インターバルトレーニングは、適度な運動よりも心臓を強化する
【心臓を強化する高強度インターバルトレーニング】 ノルウェー科学技術大学の研究によると、トレーニングの強度が、病気の重症度を軽減し、心臓機能を改善し、作業能力... -
人体・脳
健康な脳を保ち老化を遅らせる「アマゾンの先住民族ツィマネ族の生活習慣」
【健康な脳を保ち老化を遅らせる「アマゾンの先住民族ツィマネ族の生活習慣」】 ボリビア・アマゾンの先住民族であるツィマネ族が、アメリカやヨーロッパの人々に比べて... -
人体・脳
寒冷散歩が脂肪燃焼を増幅させる理由
【寒冷散歩が脂肪燃焼を増幅させる理由】 ウィーン医科大学の研究チームが、寒冷化においてヒトとマウスのビタミンAのレベルが上昇する事を発見しました。 ビタミンAは...