教育支援には、様々な手段や方法があります。一般的に「教育支援＝良いこと」として受け止められていることもあり、「それって本当に効果があったのか」という評価がないがしろにされていることが少なくありません。近年、日本でも教育支援に対して第三者評価を行い、改善につなげていこうという取り組みが行われはじめています。
2009年から子どもの貧困・教育格差の課題解決のために「スタディクーポン」を提供する事業を行っている公益社団法人チャンス・フォー・チルドレン（以下、CFC）では、2014年度から第三評価者による東北のスタディクーポン事業の効果検証が実施しています。
今回、三菱UFJリサーチ&コンサルティング主任研究員・小林庸平氏が執筆した論文を元にした日本語版の「第三者評価レポート」が完成し、その報告が行われました。
本記事は、2018年12月6日に菱UFJリサーチ&コンサルティング（株）東京本社で行われたCFC活動説明会特別版「東北スタディクーポン第三者評価レポート発表イベント」のレポートの一部となります。第三者評価レポートの分析者の三菱UFJリサーチ&コンサルティング株式会社・経済政策部主任研究員、独立行政法人経済産業研究所・コンサルティングフェローの小林庸平さんのお話をご紹介します。
なぜ、効果検証が重要なのか？
最初に効果検証の意義や難しさについてお話したいと思います。なぜ、効果を検証する必要があるのでしょうか？「スタディクーポン事業では、教育支援という良いことをやっているんだからそれで良いじゃないか」と思われるかもしれません。ここで一つ事例をご紹介したいと思います。それは、途上国の事例になります。
途上国で重要な政策課題の一つとしてあがるのは、どうしたら子どもたちに学校に行ってもらえるかということです。なぜかというと、子どもに学校へ行ってもらうよりも、働いてもらった方がその瞬間は家庭の所得が増えるわけです。だったら、役に立つかわからない教育をわざわざ受けさせるよりも、働いてもらった方が良い考えがちです。
しかしながら、教育はそれを受けた後に、高い賃金が得られる仕事に就くことにつながったり、就職しやすくなったりというメリットがあります。教育を受けた方が良いとわかっていたとしても、どうすれば子どもたちに学校に行ってもらえるのかが発展途上国で課題になっています。
よく挙げられる政策例をご紹介すると、「先生を増やしたら良いんじゃないか、先生を増やしたら質も上がって来てくれるんじゃないか」、「子どもはお腹が減っているはずだから、学校で給食が食べられるといったら来るんじゃないか」、「制服を提供したら良いんじゃないか」、「奨学金のような形でお金を配った来てくれるんじゃないか」などです。
どれもロジカルには効果がありそうです。しかし、どれが一番良いのか言われると、理屈だけではなかなか結論が出ません。では、「ちゃんと検証してみよう！」というのが、20年くらい前に開発援助分野ではじまりました。
こちらのスライドの右の図では、横軸に政策メニュ―、縦軸が学習期間で、100＄を使った場合に子どもの学習期間がどのくらい伸ばせたかを示しています。例えば、「extra teacher」とは、先生を増やした場合の効果を示していて1.7年となっています。確かにプラスです。他にも、「uniforms」は制服を支給した場合になりますが、こちらも子どもの学習期間は伸びます。
右側を見て頂くと、とても大きな数値があります。これは、「information on returns」と書かれていますが、教育には将来的な価値があることを情報提供する政策です。教育の価値を伝える親等に伝えることは、教員を雇うよりも制服を作るよりもお金もかからず、より高い費用対効果があることを示しています。
ロジカルには正しい様々な取り組みが実は効果を検証してみると、結果は全く違います。同じ金額でも使い方を変えることで子どもたちの生活を変えることができるということであり、だから効果検証が重要と言われてきました。
効果検証の難しさとは？
きちんと自分たちがやってきたことがどうなっているのか見ていくことが大切になっています。「効果検証が重要ならやれば良いじゃないか！」という話になるのですが、効果検証は簡単なのでしょうか？
今回、スタディクーポンについて検証しようとすると、一番簡単に考えられる仮説は、「クーポンを支給すれば、学力があがるんじゃないか」ということです。では、これで効果検証しようとすると、一番に簡単に思いつくのは、クーポンをもらえた子ともらえなかった子で偏差値を比較してみようということです。
下のスライドのように、クーポン対象者と非対象者で偏差値の差が10だった場合、クーポンのおかげで偏差値が10上がったと言いたくなります。これは本当なのでしょうか？一旦、立ち止まって考える必要があります。
効果検証の際に本当に考えなければならないことは、「クーポンをもらった子が、仮にクーポンをもらわなかった場合の学力はどの程度だったのか？」です。
例えば、もともと学力の高い子どもにクーポンを提供していた場合、クーポン対象者の学力はもともと高かったことになり、非対象者と比較はできません。タイムマシンをつかうことが出来て、ある子どもにクーポンを提供した場合の未来と、提供しなかった場合の未来を比較できれば、クーポンの効果を検証できますが、実際にはそんなことはできません。この点が効果検証の壁となります。
CFCでは、約1,000人以上の応募がありますが、原資の問題から全員にクーポンを提供することができません。子どもの経済状況や受験が近いかなど、より必要性や緊急性の高い子どもにクーポンに支給しています。子どもの置かれている状況を300点満点で点数化して、より優先順位の高い方から順番にお渡ししています。今回は、この仕組みに着目することで効果検証を行いました。
効果検証をする場合、クーポンをもらった300点満点の得点が上位の子どもたちと、もらえなかった下位の子どもたちを比較したとしても、経済状況等が全く異なる属性のグループを比較することになってしまいます。そのため、今回の分析では、クーポンを利用できるか否かの境目周辺の子どもを比較することで効果を推定することにしました。得点の近い子どもたちは、経済状況や学年などの属性も近いはずです。
つまり、ギリギリクーポンをもらえた子とギリギリクーポンをもらえなかった子を比較している形となります。クーポンの有無によって、学力等に差が生じているならば、これは間違いなくクーポンの効果となるはずです。
効果検証の結果（エビデンス）の限界とは？
効果検証の結果をエビデンス（証拠）と呼びます。エビデンスがあるのであれば、それだけに基づいて意思決定をしていけば良いじゃないかと思われるかもしれません。しかし、効果検証の結果やエビデンスの限界も同時に理解しておく必要があります。
一つは、どこまで一般化できるのかということです。これは、誰に対しても同じ結果になるのかわかりません。
二つ目に、「取り組みに効果ある」というエビデンスが得られたとしても、メカニズムについてはよくわかりません。経済的支援が良かったのか、メンター制度が良かったのか、それを組み合わせたのが良かったのか、今はまだわかりません。
三つ目に、捉えられている要素が限定されているということです。今回の検証でわかったことは、クーポンによって学力と学習時間が上がっていそうだということだけです。しかしクーポンにはもっと副次的な効果があるのかもしれません。
例えば、大学生のメンターがいることで、大学生の生活の様子を知ることができて、大学に行ってみたいな、こんな勉強してみたいなということに気づけた、意欲が上がったなどあるかもしれません。しかしそうした副次的な影響は今回の分析では全く捉えられていません。
わかっていることはわかっているのだけれど、わかっていることはちょっとしかないかもしれないという謙虚な向き合い方がすごく大切です。エビデンスに基づいて考えることは重要ですが、エビデンスだけで物事が判断できるわけではありません。
エビデンスだけで意思決定することはできない
「Evidence-Based」ではなく、「Evidence-Informed」が大切であるという議論あります。「Evidence-Based」というと、エビデンスだけに基づいて考えましょうという意味合いになりますが、「Evidence-Informed」では、エビデンスを知ったうえで考えましょうという意味です。
エビデンスには限界はあるけれど、それで分かることも多いので、エビデンスを蓄積しながら意思決定をしていきましょうということが言われています。下記の図は、意思決定をするうえで、どのような要素が必要なのかを示しています。
より意味ある効果のあることがやった方が良いという点でエビデンスは重要です。しかし同時に私達が直面している課題を認識することも非常に大事です。いくらエビデンスがあったとしても、そもそも解決すべき課題が的外れでは意味がありません。
もう一つは、私達はどんな社会を創りたいのかという価値観も大切です。現状どんな課題があるのか、私達はどんな価値観でどんな社会を目指しているのか、そして、そのためにどんな手段が効果的なのか、少なくてもデータから読み取れるのか。
加えて、現場の人の専門性や経験も重要です。なぜなら、エビデンスで捉えられていることはごく限られた部分であり、現場の人が接しているものはもっと包括的に捉えられています。こういったことを踏まえて、今回の調査結果を踏まえて、CFCさん自身が「Evidence-Informed」で、エビデンスを知ったうえで私達は意思決定をしていくことが重要だと思います。
本記事は、岩切準が担当。Eduwell Journalでは、子どもや若者の支援に関する様々な情報を毎月ご紹介しています。子どもや若者の支援に関する教育や福祉などの各分野の実践家・専門家が記者となり、それぞれの現場から見えるリアルな状況や専門的な知見をお伝えしています。
