推定と検定の違いを押さえる｜データ分析の在宅案件で使う統計の基礎

データ分析の在宅案件を受けると、「この施策で申し込みの割合は本当に上がったのか」「アンケートの満足度は前回より良くなったと言えるのか」といった問いに答える場面に出会います。集計した数字を並べるだけでは、この問いには答えられません。手元のデータは全体の一部にすぎず、たまたまの偏りで数字が動いている可能性があるからです。ここで使うのが、統計の「推定」と「検定」です。

この記事では、推定と検定の違いを、データ分析の在宅案件で出会う場面に沿って整理します。点推定と区間推定、信頼区間の正しい読み方、仮説検定の手順、p値と有意水準の意味、よくある誤解、表計算ソフトでの計算、依頼者への報告の書き方まで、基礎から順に説明します。

データ分析の仕事で統計の基礎が求められる理由

企業の中で、データをもとに判断する場面は年々増えています。Webサイトのアクセスの記録、広告の効果、顧客アンケート、販売の記録など、手元に集まるデータの量は増え続け、それを読み解いて判断の材料にする仕事も増えました。表計算ソフトやBIツールと呼ばれる集計の道具が手軽に使えるようになり、在宅で分析の作業を請け負う人も増えています。

一方で、集計の道具が手軽になったことで、数字の読み方を誤る場面も増えています。たとえば、ある月の申し込みの割合が2.1%で、翌月が2.4%だったとします。数字だけを見れば上がっていますが、訪問した人の数が数百人程度なら、この程度の差はたまたまでも十分に起こります。この差を「施策の効果」と報告してしまうと、依頼者は誤った判断をするかもしれません。

推定と検定は、こうした誤りを防ぐための道具です。推定は、手元のデータから全体の様子を見積もる方法で、検定は、見えた差がたまたまなのか、意味のある差なのかを判断する方法です。この2つの考え方を押さえておくと、数字の報告に「どのくらい確かなのか」を添えられるようになり、分析の仕事の質が一段上がります。

難しい数式をすべて覚える必要はありません。実務で大切なのは、考え方を理解し、表計算ソフトの関数を正しく使い、結果を依頼者に誤解なく伝えることです。この記事でも、数式より考え方と使い方に重心を置いて説明します。

母集団と標本という考え方

推定と検定を理解する前提になるのが、母集団と標本という考え方です。

母集団とは、知りたい対象の全体のことです。たとえば、ある商品を買ったすべての顧客の満足度を知りたいなら、すべての顧客が母集団です。ある工場で作られるすべての製品の重さを知りたいなら、すべての製品が母集団です。

標本とは、母集団から取り出した一部のことです。すべての顧客にアンケートを取ることはできないので、一部の顧客に答えてもらいます。この答えてもらった顧客が標本です。

実務で扱うデータの多くは、標本です。アンケートに答えてくれた人、ある期間にサイトを訪れた人、検査のために取り出した製品。どれも全体の一部です。本当に知りたいのは母集団の様子ですが、手元にあるのは標本のデータだけです。そこで、標本のデータから母集団の様子を推し量る必要が出てきます。これが、推定と検定の出発点です。

母集団の平均を母平均、標本の平均を標本平均と呼びます。標本平均は、どの人を標本に選んだかによって毎回少しずつ変わります。この「選び方によるぶれ」を考えに入れて、母平均を見積もったり、差を判断したりするのが、推定と検定の役目です。

標本の選び方が偏っていると、どんなに計算を正しくしても、母集団の様子は正しく分かりません。たとえば、満足している顧客ほどアンケートに答えやすいなら、アンケートの満足度は全体より高く出ます。推定と検定の計算は、標本が母集団から偏りなく取り出されていることを前提にしています。分析の前に、データがどのように集められたかを確かめることが大切です。

推定とは何か

推定とは、標本のデータから、母集団の平均や割合などの値を見積もることです。総務省統計局の学習サイト「なるほど統計学園」では、推定は母集団の特性値（平均や分散など）を標本のデータから統計学的に推測することで、推定には点推定と区間推定があると説明されています。

点推定は、母集団の値を1つの値で見積もる方法です。たとえば、母平均を見積もるときは、標本平均をそのまま母平均の見積もりとして使います。同じサイトでは、大数の法則から、標本の大きさが大きくなるほど標本の平均は母平均に近づくため、標本の平均が母平均の推定値になると説明しています。大数の法則とは、取り出す数を増やすほど、標本の平均が母集団の平均に近づいていくという性質のことです。

ただし、実際の標本の大きさには限りがあるので、点推定の値は、本当の母平均と完全には一致しません。そこで、見積もりがどのくらい確かなのかを表す指標として、標準誤差が使われます。標準誤差とは、標本平均のような見積もりの値が、標本の選び方によってどのくらいばらつくかを表す値です。

標本平均の標準誤差は、標本の標準偏差を、標本の大きさの平方根で割って求めます。式で書くと「標準誤差 ＝ s ÷ √n」です（sは標本から求めた標準偏差、nは標本の大きさ）。この式から分かるとおり、標本の大きさが大きくなるほど標準誤差は小さくなり、見積もりは確かになります。標本の大きさを4倍にすると、標準誤差はおよそ半分になります。

実務では、点推定の値だけを報告すると、どのくらい確かな数字なのかが伝わりません。「平均の満足度は3.8点でした」ではなく、次に説明する区間推定を使って、幅を持たせて伝えるほうが誤解を防げます。

区間推定と信頼区間の正しい読み方

区間推定は、母集団の値を、1つの値ではなく、幅を持った区間で見積もる方法です。この区間を信頼区間と呼びます。総務省統計局のなるほど統計学園では、次のように説明されています。

区間推定は、母集団が正規分布に従うと仮定できる場合に、標本のデータを用いて母平均などの推定量を、1つの値ではなく、入る区間（幅）で推定します。推定する区間を信頼区間と呼び、「90%信頼区間」「95%信頼区間」「99%信頼区間」などで求めます。 出典: 総務省統計局 なるほど統計学園

よく使われるのは95%信頼区間です。標本の大きさが十分に大きい場合、母平均の95%信頼区間は、おおよそ「標本平均 ± 1.96 × 標準誤差」で求められます。たとえば、ある商品のアンケートで、標本平均が3.8点、標準誤差が0.1点なら、95%信頼区間はおよそ3.6点から4.0点です。標本の大きさが小さい場合は、1.96の代わりにt分布という分布から求めた値を使うので、区間は少し広くなります。

信頼区間の読み方には、よく誤解される点があります。同じサイトでは、95%信頼区間について、母集団から標本を取り出して95%信頼区間を求めることを100回行ったとき、95回程度はその区間内に母平均が入ることを表すと説明しています。そして、母平均は知られていないだけで確定した値なので、得られた標本のもとで母平均がその区間内にある確率が95%という意味ではないことに注意するよう書いています。

少しややこしい話ですが、実務では次のように理解しておけば十分です。95%信頼区間は、「同じやり方で何度も調べれば、そのうちの95%程度で本当の値を含むような区間の作り方」で作った区間です。区間が狭いほど見積もりは確かで、区間が広いほど見積もりはあいまいです。

依頼者に報告するときは、「平均の満足度は3.8点（95%信頼区間3.6点から4.0点）」のように、点推定の値と信頼区間を並べて書くと、数字の確かさが伝わります。区間が広い場合は、標本の大きさが足りないことを添えて、追加の調査を提案する材料にもなります。

検定とは何か

検定（統計的仮説検定）とは、母集団についてのある仮説が成り立つかどうかを、標本のデータを使って判断する方法です。なるほど統計学園では、検定は次の4つの手順で行うと説明されています。

1. 仮説を設定する
2. 有意水準を決定する
3. 検証する
4. 結論を導く

1つ目の仮説の設定では、2つの仮説を立てます。確かめたいこと（たとえば「施策の前後で申し込みの割合が違う」）を対立仮説と呼び、それと反対の仮説（「施策の前後で申し込みの割合は同じ」）を帰無仮説と呼びます。検定では、帰無仮説が正しいと仮定したうえで、手元のデータがどのくらい起こりにくいものかを調べます。

2つ目の有意水準とは、帰無仮説が間違っていると判断する基準となる確率のことです。なるほど統計学園では、有意水準は0.05や0.01が多く使われていると説明されています。有意水準0.05は、「帰無仮説が正しいとしたら5%以下の確率でしか起きないことが起きたら、帰無仮説は正しくないと判断する」という基準です。

3つ目の検証では、帰無仮説が正しいと仮定したときに、手元のデータ（またはそれより極端なデータ）が得られる確率を計算します。この確率をp値（有意確率）と呼びます。

4つ目の結論では、p値と有意水準を比べます。p値が有意水準より小さければ、帰無仮説を棄却し（正しくないと判断し）、対立仮説を採ります。p値が有意水準より大きければ、帰無仮説を棄却しません。

フライドポテトの例で検定の流れを追う

なるほど統計学園では、検定の流れを、ハンバーガー店のフライドポテトの重さを例に説明しています。流れをつかむのにちょうどよい例なので、要点を追ってみます。

ある店のMサイズのフライドポテトは135gと公表されています。本当に公表値のとおりかを確かめるため、10個を買って重さを量ったところ、120g、124g、126g、130g、130g、131g、132g、133g、134g、140gでした。合計は1,300gなので、標本平均は130gです。

まず仮説を立てます。帰無仮説は「重さの平均は公表値の135gである」、対立仮説は「重さの平均は135gではない」です。有意水準は0.05とします。

次に検証です。この例では、重さが正規分布に従い、母分散が36（標準偏差が6g）と分かっているという仮定を置いています。このとき、検定統計量Zは、標本平均から135を引いた値を、6を√10で割った値で割って求められ、計算するとおよそマイナス2.64になります。検定統計量とは、手元のデータが帰無仮説からどのくらい離れているかを1つの数にまとめたものです。

有意水準0.05で、重い場合と軽い場合の両方を考える両側検定では、境界の値はプラスマイナス1.96です。Zのマイナス2.64は、この境界より外側にあります。同じサイトでは、標準正規分布表からp値を求めると0.0083になり、有意水準0.05より小さいと説明しています。

結論として、帰無仮説「重さの平均は135gである」は棄却され、対立仮説「重さの平均は135gではない」が採られます。つまり、この店のフライドポテトの重さは、公表値のとおりとは言えない、という判断になります。

この例では母分散が分かっている前提でしたが、実務では母分散が分からないことがほとんどです。その場合は、標本から求めた標準偏差を使い、t検定と呼ばれる方法で検定します。考え方の流れは同じです。

2つの誤りと、片側検定と両側検定

検定の結果を正しく読むには、検定でどんな誤りが起こりうるかを知っておく必要があります。

1つ目は、本当は差がないのに「差がある」と判断してしまう誤りです。これを第1種の誤りと呼びます。有意水準は、この誤りを起こす確率の上限を決めるものです。有意水準0.05なら、本当は差がないときに、誤って差があると判断する確率を5%以下に抑える、という意味になります。

2つ目は、本当は差があるのに「差があるとは言えない」と判断してしまう誤りです。これを第2種の誤りと呼びます。標本の大きさが小さいと、この誤りが起きやすくなります。本当にある差を正しく見つけられる確率を検出力と呼び、検出力を上げるには、標本の大きさを増やすのが基本の方法です。

2つの誤りは、片方を減らそうとすると、もう片方が増える関係にあります。有意水準を0.01に厳しくすれば、第1種の誤りは減りますが、本当にある差を見逃す第2種の誤りは増えます。どちらの誤りがより困るかは、場面によって変わります。新しい薬の効果のように、効かないものを効くと判断すると困る場面では、有意水準を厳しくします。広告の案の比べ方のように、判断を誤っても後から戻せる場面では、それほど厳しくしないこともあります。

検定には、片側検定と両側検定があります。フライドポテトの例では、「135gではない」という対立仮説を立てたので、重い場合と軽い場合の両方を考える両側検定を使いました。「135gより軽い」のように、どちらか一方の向きだけを確かめたい場合は、片側検定を使います。片側か両側かは、データを見る前に、確かめたい問いに合わせて決めます。データを見てから片側に切り替えると、有意になりやすくなるので、検定の意味が失われます。

標本の大きさをどう決めるか

分析の案件では、「何人にアンケートを取ればよいか」「テストを何日続ければよいか」と聞かれることがあります。標本の大きさは、推定と検定の確かさを左右するので、事前に考えておく価値があります。

推定の場合は、信頼区間の幅をどのくらいに収めたいかから考えます。前の節で触れたとおり、標準誤差は標本の大きさの平方根に反比例するので、信頼区間の幅を半分にしたいなら、標本の大きさは4倍必要です。依頼者と「満足度の平均を、プラスマイナス0.1点くらいの幅で知りたい」のように目標を決めると、必要な標本の大きさの見当がつきます。

検定の場合は、見つけたい差の大きさから考えます。小さな差を見つけたいほど、多くの標本が必要になります。Webサイトの2つの案を比べるテストで、申し込みの割合が2%程度のときに、0.2ポイントの差を見つけたいなら、それぞれの案に数万人規模の訪問者が必要になることもあります。訪問者の少ないサイトで小さな差を確かめようとしても、テストを長く続けないと判断できません。

必要な標本の大きさを事前に見積もっておくと、「テストを始めたが、いつまでたっても結論が出ない」という事態を避けられます。見積もりの結果、必要な大きさが現実的でない場合は、確かめる問いを変える、より大きな差を狙った案に絞る、といった方向で依頼者と相談します。

推定と検定の違いと使い分け

推定と検定は、どちらも標本から母集団を推し量る方法ですが、答える問いが違います。

項目	推定	検定
答える問い	母集団の値はどのくらいか	仮説は成り立つか
結果の形	値や区間（例: 平均3.8点、95%信頼区間3.6点から4.0点）	棄却するかしないか、p値
実務の例	顧客満足度の平均、申し込みの割合の見積もり	施策の前後で割合が変わったか、2つの案に差があるか
伝わること	大きさとその確かさ	差がたまたまかどうか

推定は「どのくらいか」に答え、検定は「違うと言えるか」に答えます。実務では、両方を組み合わせて使うのが理想です。たとえば、2つの広告の申し込みの割合を比べるときに、検定で「差がある」と言えたとしても、差がどのくらいの大きさなのかは検定の結果だけでは分かりません。差の大きさとその信頼区間を推定で示すと、依頼者は「差はあるが、どのくらい効果があるのか」まで判断できます。

逆に、推定の信頼区間から検定の結果を読み取ることもできます。2つの案の差の95%信頼区間が0をまたいでいなければ、有意水準0.05の両側検定で差があると判断するのと、おおむね同じ結論になります。

データ分析の案件で出会う場面

在宅のデータ分析の案件で、推定と検定を使う代表的な場面を挙げます。

1つ目は、Webサイトの2つの案を比べるテストです。ボタンの文言や配置を変えた2つの案を、訪問者に振り分けて表示し、申し込みの割合を比べます。割合の差が、たまたまの偏りなのか、意味のある差なのかを判断するのに検定を使います。割合の差の検定には、カイ二乗検定などが使われます。

2つ目は、アンケートの満足度の比較です。前回と今回、あるいは2つの店舗の満足度の平均を比べるときに、平均の差の検定（t検定）を使います。平均の満足度を報告するときに、信頼区間を添えるのも推定の使いどころです。

3つ目は、品質の管理です。製品の重さや寸法が、決められた値から外れていないかを、取り出した製品のデータで確かめます。フライドポテトの例は、まさにこの場面です。

4つ目は、施策の前後の比較です。キャンペーンの前と後で、売上や問い合わせの数が変わったかを確かめます。ただし、前後の比較では、季節の変化など、施策以外の要因でも数字が動くことに注意が必要です。検定で差が出ても、それが施策の効果だとは限りません。

5つ目は、割合の推定です。アンケートで「満足」と答えた人の割合や、メールを開いた人の割合を報告するときも、平均と同じように信頼区間を添えられます。回答した人が100人で、満足と答えた人が60人なら、割合は60%ですが、標本の大きさが100人程度だと、本当の割合はおよそ50%から70%の範囲にある、という程度の確かさしかありません。少ない回答で細かな割合の違いを論じないよう、幅を示しておくことが大切です。

どの場面でも、分析を始める前に、依頼者と「何を確かめたいのか」「どのくらいの差なら意味があるのか」を話し合っておくことが大切です。分析の後で問いを決めると、都合のよい結果だけを拾うことになりがちです。

よくある誤解と注意点

推定と検定は便利な道具ですが、結果の読み方を誤りやすい道具でもあります。よくある誤解を挙げます。

1つ目は、「有意な差がある」を「大きな差がある」と読むことです。標本の大きさがとても大きい場合、ごく小さな差でも有意になります。たとえば、数十万件のデータで申し込みの割合を比べると、0.1ポイントの差でも有意になることがあります。有意かどうかと、実務で意味のある大きさかどうかは別の問題です。差の大きさを推定で示し、実務の判断に使えるかを依頼者と話し合います。

2つ目は、「有意な差がない」を「差がない」と読むことです。p値が有意水準より大きいとき、言えるのは「差があるとは言えない」であって、「差がない」ではありません。標本の大きさが小さいと、本当は差があっても検定で見つけられないことがあります。

3つ目は、何度も検定を繰り返すことです。たくさんの項目で検定を繰り返すと、本当は差がなくても、たまたま有意になる項目が出てきます。有意水準0.05で20回検定すれば、差がなくても1回くらいは有意になると考えておきます。多くの項目を比べる場合は、比べる項目を事前に決めておくか、繰り返しに合わせて基準を厳しくする方法を使います。

4つ目は、データを見てから検定の方法を選ぶことです。結果を見て、有意になる方法を選び直すと、検定の意味がなくなります。どの方法で検定するかは、データを見る前に決めておきます。

5つ目は、検定の前提を確かめないことです。t検定は、データがおおむね正規分布に従うことなどを前提にしています。データの分布が大きく偏っている場合や、外れた値が多い場合は、別の方法を検討します。

ExcelやGoogleスプレッドシートで計算する

推定と検定の計算は、ExcelやGoogleスプレッドシートの関数でもできます。在宅の案件では、依頼者が使っている表計算ソフトで結果を渡すことが多いので、基本の関数を知っておくと便利です。

平均はAVERAGE関数、標本の標準偏差はSTDEV.S関数（GoogleスプレッドシートではSTDEV関数も使えます）、データの個数はCOUNT関数で求められます。標準誤差は、標準偏差をSQRT関数で求めたデータの個数の平方根で割って計算します。

信頼区間の幅は、Excelでは、正規分布を使う場合はCONFIDENCE.NORM関数、t分布を使う場合はCONFIDENCE.T関数で求められます。どちらも、有意水準（95%信頼区間なら0.05）、標準偏差、データの個数を指定すると、平均からの幅を返します。平均にこの幅を足し引きすれば、信頼区間になります。

2つのグループの平均の差のt検定は、T.TEST関数でp値を求められます。2つのデータの範囲、片側か両側か、検定の種類（対になったデータか、分散が等しいと見なすか、など）を指定します。種類の指定を誤ると結果が変わるので、データの集め方に合わせて選びます。たとえば、同じ人に施策の前と後で答えてもらったデータは「対になったデータ」、別々の人のデータは「対になっていないデータ」です。

関数の細かい指定の仕方は、使っているソフトの公式のヘルプで確かめてください。計算の結果を依頼者に渡すときは、どの関数をどのデータに使ったかを、表の近くに書き添えておくと、依頼者が後から確かめられます。

より複雑な分析が必要な場合は、RやPythonのような統計の処理に向いたプログラミング言語を使うこともあります。ただ、多くの在宅案件では、表計算ソフトで扱える範囲の分析で足ります。

依頼者への報告の書き方

分析の結果は、依頼者が判断に使えて初めて価値を持ちます。推定と検定の結果を報告するときの書き方の工夫を挙げます。

1つ目は、結論を先に書くことです。「案Bのほうが申し込みの割合が高く、その差はたまたまでは説明しにくい大きさでした」のように、依頼者の問いへの答えを最初に書きます。

2つ目は、数字とその確かさを並べて書くことです。「案Aの申し込みの割合は2.1%、案Bは2.6%で、差は0.5ポイント（95%信頼区間0.1ポイントから0.9ポイント）」のように、差の大きさと幅を示します。

3つ目は、専門用語を言い換えることです。「p値が0.03で有意水準0.05を下回りました」だけでは、統計に詳しくない依頼者には伝わりません。「この差がたまたま生まれる確率は3%程度と低く、偶然の差とは考えにくい結果です」のように、言葉で補います。ただし、前の節で触れたように、p値は帰無仮説が正しいと仮定したときの確率なので、「案Bが優れている確率が97%」のような書き方は誤りです。

4つ目は、分析の限界を書くことです。データの集め方の偏り、期間の短さ、標本の大きさの不足など、結果の読み方に影響する点を正直に書きます。限界を書いておくと、依頼者が結果を過信することを防げ、分析を担当した人の信頼にもつながります。

5つ目は、次の行動を提案することです。「差の幅がまだ広いので、あと2週間テストを続けると判断が確かになります」のように、結果を踏まえた提案を添えると、依頼者は次に何をすればよいかが分かります。

統計を学ぶための道筋

推定と検定の基礎を学ぶには、無料で読める公的な教材から始めるのが手軽です。総務省統計局の「なるほど統計学園」は、統計の基礎から推定と検定までを、例を交えて説明しているサイトで、この記事でも何度か引用しました。

学んだことを形にしたい場合は、統計検定という検定があります。統計検定の公式サイトでは、1級、準1級、2級、3級、4級のほか、統計調査士、専門統計調査士、データサイエンスの基礎、発展、エキスパートといった種別が案内されています。準1級から4級などは、全国の会場で随時受けられるCBT方式（コンピュータを使う試験）で実施されています。推定と検定は、2級あたりの範囲に含まれる内容です。各級の出題の範囲と受験の方法は、統計検定の公式サイトで確かめてください。

学ぶときは、教科書を読むだけでなく、手元のデータで実際に計算してみることが大切です。公開されている統計のデータや、自分の家計簿のデータなど、身近なデータで平均や信頼区間を計算してみると、式の意味が実感として分かるようになります。

分析の仕事を外から見て分かること

20年以上フリーランスと在宅ワークの仲介を続けてきた運営者として見てきた限りでは、データ分析の仕事で長く依頼が続く人は、高度な手法を使える人というより、結果を依頼者の言葉で説明できる人です。「有意でした」で終わらせず、それが依頼者の判断にとって何を意味するのかを、限界も含めて丁寧に伝えられる人には、次の分析の相談が自然と集まります。

統計の知識を生かせる仕事は、分析の請負だけではありません。研究の補助や調査の設計に関わる仕事の単価の目安は、研究者の年収・単価相場で確かめられます。データの読み解きを、企業の業務の改善やAIの活用の提案につなげる仕事は、AIコンサル・業務活用支援のお仕事のガイドで紹介しています。マーケティングの効果測定のように、検定を日常的に使う分野については、AI・マーケティング・セキュリティのお仕事で扱っています。

分析の仕事も、仲介手数料が差し引かれない直接取引であれば、依頼する側は同じ予算で頼める範囲が広がり、受ける側は手取りが厚くなります。継続して数字を見てほしいという依頼ほど、信頼できる相手と長く付き合える関係が、双方にとって大きな意味を持ちます。

よくある質問

Q. 推定と検定の違いは何ですか？

推定は、標本のデータから母集団の平均や割合がどのくらいかを見積もる方法で、結果は1つの値や信頼区間で示します。検定は、母集団についての仮説が成り立つかを判断する方法で、結果は帰無仮説を棄却するかどうかとp値で示します。推定は大きさを、検定は差がたまたまかどうかを伝えるので、実務では両方を組み合わせて使うのが理想です。

Q. 95%信頼区間は「本当の値が95%の確率で入る区間」という意味ですか？

厳密には違います。総務省統計局の説明では、標本を取り出して95%信頼区間を求めることを100回行ったとき、95回程度はその区間に母平均が入ることを表し、得られた標本のもとで母平均がその区間にある確率が95%という意味ではないとされています。実務では、区間が狭いほど見積もりが確かだと理解しておけば十分です。

Q. p値が0.05より大きければ差はないと言えますか？

言えません。p値が有意水準より大きいときに言えるのは、差があるとは言えないということで、差がないことの証明にはなりません。標本の大きさが小さいと、本当は差があっても検定で見つけられないことがあります。差の大きさを信頼区間で示し、必要ならデータを増やして確かめます。

Q. 推定や検定はExcelでも計算できますか？

できます。平均はAVERAGE関数、標本の標準偏差はSTDEV.S関数、信頼区間の幅はCONFIDENCE.NORM関数やCONFIDENCE.T関数、2つのグループの平均の差のt検定のp値はT.TEST関数で求められます。T.TEST関数は、対になったデータかどうかなどの種類の指定で結果が変わるので、データの集め方に合わせて選びます。