極めて注意すべき点として、仮説検定とは「ある仮説が正しい」という結論を導けるものではない。導きたい結論に対して検証するのはあくまで「帰無仮説」であり、得られる解釈は最大限にまで踏み込んだ場合でも「ある仮説は棄却できない(正しくないとは言えない)」というラインが限界である。特によくあるケースとして科学などのデータをいくつかのモデル(仮説)でフィッティングして結果を考察するといった場面を考えてみると、得られた Goodness of Fit を比較して「こちらのモデルのほうがあちらのモデルより正しい」というような議論を展開するのは原理的にはかなり難しいと言える。また、どの程度の有意水準をもって「有意」と捉えるかも分野や状況、背景などに依存するため、望ましい結論に誘導するため恣意的な基準を採用していないか自他ともに厳しく注意しておく必要がある。
統計学的処理によってある仮説(Hypothesis)に数値的な解釈を与える方法
正当性(それっぽさ)を棄却する仮説を帰無仮説(Null Hypothesis)という
逆に正当性を証明しようとする仮説は対立仮説(Alternative Hypothesis)
帰無仮説を棄却できれば対立仮説は間違いとは言えないというスキーム
証明しようとする対立仮説が正しければ、帰無仮説は棄却される事になる
もっと簡単に言えば、ダメな確率が低ければダメじゃなさそうということ
このモデルならば統計的にダメとは言えませんよ、という事を証明できる
このモデルは統計的に正しいです、という事は証明できないので注意する
判断は有意水準(危険率)を指標として、0.05 か 0.01 あたりが多用される
帰無仮説を指示する確率(Probability)が有意水準より高ければ棄却不可能
Null Hypothesisの確率が高ければ仮説はあるかもしれないという話になる
逆にいえばNull Hypothesisの確率が低ければその仮説はありえないだろう
このときの「仮説」は何を目的とするかで違ってくる
この確率はモデルを「棄却」する事は出来るが「肯定」する事は出来ない
確率が高く出た場合も水準ギリギリでも、棄却不可能という意味では同じ
つまり高確率で棄却できるからといって正しいかどうかは別の問題である
科学的な証明とは一般的にNull Hypothesisを否定するという方式をとる
Null Hypothesisを棄却できれば当初の主張は否定できないという背理法
主張と反対の仮説を棄却できればその主張が間違っているとは言えない
すなわち「Aである事」を証明するため「Aでない可能性」を棄却しにいく
忘れてはいけないのは、この検定から「真実」がわかるわけではないこと
この方法では統計的に有意に「仮説を棄却できる」という事が言えるだけ
はじめの仮説(モデル)が真である(正しい)と言えるわけではない点に注意
物理や天文では多くが単純なモデルを使うので厳密には仮説は正しくない
定性的にあり得ない仮説でも検定では棄却できないという事も起こり得る
例えば、新薬Aと偽薬Bの効能を比べて、新薬Aの効能を証明したいとする
新薬Aの方が効果的という証拠を並べても科学的には不十分と判断される
代わりに「新薬Aと偽薬Bは全く同じ効能の薬」という帰無仮説をたてる
実際に新薬Aと偽薬Bで治験を行い、そのデータをもとに統計処理を行う
こうすれば「新薬Aと偽薬Bが同じ確率は??%」という形で数字が出せる
例えば「AとBが同じものである確率が5%以下」という結果が出たとする
すると「95%以上の確率で新薬Aと偽薬Bは効能が違う」と言える
つまり、AとBは同じであると仮定した帰無仮説を棄却できたことになる
こうして「統計的に有意に違いを確認できた」ということが主張できる
90%の信頼区間(Confidence Level)で検出されました…とはどういうことか?
信頼係数(Confidence Coefficient) = 1 - 有意水準(Significance Level)
エラーの範囲を表示する場合は一般的に 90% Confidence Level を使用する
エラーの範囲表示でよく使用されるのは 90% / 95% / 99% のいずれか
検出されたかどうかの目安は信頼区間でなく sigma を使用する事が多い
検出された事を強く主張する為には 3-sigma 以上というのがよくある基準
検出が 2-sigma なら高確率、1-sigma なら Suggestion 程度が妥当な所か
## Confidence Level vs Sigma Detection 90.00% confidence level = 10% significance-level detection 90.00% confidence level = 1.6448536-sigma detection 95.00% confidence level = 1.96-sigma detection 99.00% confidence level = 2.58-sigma detection 68.27% confidence level = 1.00-sigma detection 95.45% confidence level = 2.00-sigma detection 99.73% confidence level = 3.00-sigma detection 99.99% confidence level = 4.00-sigma detection
90%の信頼区間とはバイアスが無ければ母集団の推定値が90%の確率で存在する分布幅
別の言い方をすれば、実験を100回やれば90回はその値が出る分布幅ということ
1-sigma 検出とは、同じ物理量を3回観測したら2回くらいそうなるという程度
信頼区間(Confidence Interval)の両端は信頼限界(Confidence Limit)という
パラメータの数が1つでない場合は評価が変わるので注意する
最小二乗法でカイ二乗($\chi^{2}$)が最小値になるモデルのパラメータを探す
データの誤差は正規分布を仮定
各ビンのカウント数が10以下だと前提が崩れるので注意 = ポアソン分布
$\chi^{2}$ $=$ $\sum{\left(\dfrac{data - model}{error}\right)^{2}}$
Degrees of Freedom ($\nu$) = Number of Data - Number of Free Parameters
Reduced Chi-Squared ($\chi_{\nu}^{2}$) = Chi-Squared / Degree of Freedom
Null Hypothesis Probability = 仮説(モデル)が棄却できない確率
## Confidence Level vs Delta Chi-Square 68.27% confidence level = 1.00 sigma = 1.00 delta chi-square 90.00% confidence level = 1.64 sigma = 2.71 delta chi-square 95.45% confidence level = 2.00 sigma = 4.00 delta chi-square 99.00% confidence level = 2.58 sigma = 6.63 delta chi-square 99.73% confidence level = 3.00 sigma = 9.00 delta chi-square
Critical Values of the Chi-Square Distribution
https://www.itl.nist.gov/div898/handbook/eda/section3/eda3674.htm
The Basics of Spectral Fitting
https://heasarc.gsfc.nasa.gov/xanadu/xspec/manual/node10.html
2つの正規母集団のばらつき(母分散)に差があるかを調べる統計学的な検定法
2つの正規母集団から抽出する標本の数は違っていても良い
正規母集団の分散の平均は既知のものとしてF検定を実施する
帰無仮説は“2つの正規母集団の分散の平均は等しい”というものになる
本来のF検定は(1)正規分布で(2)等分散であるという条件が必須
F-Statistic Value : 大きかったらモデルは有意 ($F$ $=$ $s_{1}^{2} / s_{2}^{2}$)
Probability : 小さかったらモデルは有意
F値が大きい = P値が小さい = 帰無仮説は棄却可能 = 追加モデルは有意
F値が小さい = P値が大きい = 帰無仮説は棄却不可 = 追加モデルは無意味