*Rを使ったデータ解析 [#h06b130d] #contents **第9回授業の獲得目標:&worried; [#t78ad358] -''1. Rの基本操作を理解する'' -''2. Rを使って数値計算を行うことができるようになる'' -''3. Rで「沢山のデータを一まとめにして扱う方法」を理解する'' -''4. Rを使った簡単な統計解析とシンプルなグラフを作成できるようになる'' -''5. 統計的検定を直観的に理解する'' **Rの操作説明に入る前にやって置いて欲しいこと(%%%男子学生のみ!%%%) [#tab2e0a0] [[【ここをクリック】>http://bean.bio.chiba-u.jp/joho/index.php?joho21#k1462529]]←左のリンクのページに入り、画面の説明に従って、データを入力。今回の復習課題に使う(間違った形式で入力すると、自分でやるデータ整形処理が複雑になるので注意)。入力が同じ時間に集中すると「更新の衝突」がおきるので。「コメントの挿入」ボタンをクリックする直前に、一度、ページをリロード(再読込)すること。 **パワーポイントによる作図・評価の高かった作品例 [#h58cebd8] →[[課題結果ページ参照>http://bean.bio.chiba-u.jp/lab/index.php?%E6%8E%88%E6%A5%AD%2FH21%2F%E6%83%85%E5%A0%B1%E5%87%A6%E7%90%86%2F%E8%AA%B2%E9%A1%8C%E7%B5%90%E6%9E%9C#pbc268a4]] **データ解析ソフト R のインストール [#sa840541] 以下の手順に従ってインストール。&size(18){授業直前に確認して、リンクを変更する予定}; ***Rのインストール [#ldf79060] -http://cran.md.tsukuba.ac.jp/bin/windows/base/R-2.9.0-win32.exe をデスクトップにダウンロード --上のリンクで繋がらなかったら:ftp://ftp.u-aizu.ac.jp/pub/lang/R/CRAN/bin/windows/base/ から -デスクトップにできたR-2.9.0-win32.exeをダブルクリック -インストールで使用する言語でJapaneseを選び、使用許諾が出るまで「次へ」.使用許諾確認では「同意する」をクリックして「次へ」. -インストール先は次のようになっていることを確認。なっていなければ、ここからコピーペーストで入力。 Z:\R\R-2.9.0 −残りは、「次へ」やOKをクリックする。バージョン情報をレジストリに書き込むかという質問のチェックボックスははずしておくこと。 -Rを起動すると、画面が文字化けしているかもしれません。その場合、メニューバーの「編集/GUIプレファレンス」を選んで、FontをMS Gothicにする。 ***Rの日本語説明 [#hccd3c90] -以下、[[船尾さん>http://cse.naro.affrc.go.jp/takezawa/funao.html]]という方が書かれた詳しい説明です([[竹澤さんのホームページ>http://cse.naro.affrc.go.jp/takezawa/index2.html]]内にあります). --HTML版: http://cse.naro.affrc.go.jp/takezawa/r-tips/r.html --PDF版: http://cse.naro.affrc.go.jp/takezawa/r-tips.pdf -昨日見つけたもの:[[R初心者のためのR操作ゼミ>http://www7.atwiki.jp/hayatoiijima/m/pages/34.html?guid=on#id_b78c54f1]] -''発展演習'' 今日の時間中、暇をもてあました人は、上のサイトに書かれている説明文を読んで サンプルデータの解析を自習すること。いろんな処理を真似してRを使うことで、 使用方法に慣れることができる。どれでもいいから、説明にある通りの解析を自分で 試してみることをオススメする。 **Rの基本操作を理解しよう:⌣ [#l336d03b] ***Rを一人で使う場合: 参考になる情報 [#lafb8111] Rには様々な参考書が出版されているので、どれか一冊を選んで買ってきて、随時参照しながら操作をするといいだろう。フリーのオンライン情報だけを使って使いたい人は、次のようにするといい。 1. Rの命令一覧が載っている説明書のPDF(上記)を画面に表示させる 2. Adobe Readerの検索機能を使って、行いたい処理を検索 3. 説明を読んで入力すべき命令文をコピー 4. Rにペーストして、値を編集して実行 こうやって、常に説明書を参照しながら操作すれば、命令を覚える必要は無い。 ***Rを起動する [#od3886b4] まず、インストールしたRのフォルダで、Rのアイコンをダブルクリックする。~ そうすると、画面が切り替わり、小さいウィンドウの中にいくつかのメッセージと、一番最後に、 > が表示される。%%%この">"をプロンプトと言う%%%。プロンプトの右側には通常、カーソルがあり、「このマークの後に何かコマンド(命令)を打ち込んでくださいよ」とあなたに促している。式を入力して、最後にenter(or returnキー)を押せば計算される。 ***Rによる簡単な数値計算: Rは関数電卓代わりに使える! ⌣ [#gb08fd99] 以下、Rを使った簡単な計算。プロンプト(>)から右の部分をコピーペーストすれば、計算できる。 > 4/3*pi*5^3 #半径5の球の体積 > pi #円周率が表示される(デフォルトでは小数点以下6桁まで) > (1+ 2 + 3 + 4 + 5 )/5 #式の間に半角スペースがいくつか入っても大丈夫 > 【ここでキーボードの上矢印(↑)を押す: 前に入力した命令を表示させることができる】 > (10 + 2 + 3 + 4 + 15 )/5 #前に入力した式が表示されるので、左矢印(←)でカーソルを動かし修正 -足し算・引き算のまとめ |演算子| 意味| 使用例|h | + | 足し算| > 4+3&br; [1] 7| | -| 引き算|> 4-3&br; [1] 1| | * | 掛け算|> 4*3&br;[1] 12| | / | 割り算|> 4/3&br; [1] 1.333333| | ^ | 累乗|> 4^3&br; [1] 64| | %/% | 整数商|> 7%/%3&br; [1] 2| | %% | 剰余|> 7%%3&br;[1] 1| ~ 授業で解説するRのコマンドを別ページにまとめておきます。 →&size(16){&color(green){ [[Rコマンド一覧>授業/H20/情報処理/R関数一覧]]};}; ***オブジェクトへの数値の代入 [#u2b9f9c2] Rでは、好きな名前をつけたオブジェクト("もの")に、数値や文字列などのデータを代入できます。オブジェクトには大文字小文字の区別があります。 > x = 3 #xに3という数字を代入した > X = 4 #Xに4という数字を代入した > x + X #xとXの足し算 (なお、#の後はコメント文と呼ばれ、処理には関係の無い説明を書いておける) なお、上では"="を使って数値を代入しましたが、 "<-"を使っても同じことができます。 > x <- 3 > X <- 4 > x+X (Rの代入はもともと "<- " だけだったが、比較的最近、 " = " も使えるようになった) ** Rで「沢山のデータを一まとめにして扱う方法」を理解しよう⌣ [#i4365fc7] みなさんは、沢山のデータを1まとめにして扱う方法をすでに知っている。 例えばエクセルを使った計算では、 |10.4|5.6|3.1| 6.4|21.7| という表を使ってデータを一まとめにし、sum()関数をつかったり、1つのセルに5を足すという計算結果を全部のセルにコピペして、全ての値に5ずつ0足した結果を得たりした。~ &ref(./#09_1.gif);~ ~ でも、Rのように、%%%命令文を1行ずつ入力%%%して計算するソフトウェアの場合、データを''まとめて''扱うにはどうすればいいだろうか?~ もちろん、下のように1行ずつ計算式を打ち込んでも答えはでるが、データの数が多くなると、面倒すぎる。~ (こんなやり方だと面倒くさい) > 10.4+5.6+3.1+6.4+21.7 > 10.4+5 > 5.6+5 ***Rでは、%%%データを横1行に並べて扱う%%%(これをベクトルという) [#lea4e142] そこで、Rでは、たくさんのデータを一まとめにして扱うときには、%%%カンマで区切って横1行に並べて使う%%%。このようなデータの構造を''ベクトル''と呼ぶ。''ベクトル''とうと、高校の数学でやった「大きさと方向をもった量」を思い出すと思うが、 Rで使うベクトルは、同じ種類のデータに順番をつけて並べたもの と定義しておこう。これは、Rが沢山のデータをまとめて処理するために用いる、''データの構造''だ。例えば、~ (10.4, 5.6, 3.1, 6.4, 21.7) というデータの集まりは、%%%同じタイプのデータに順番をつけてひとまとめにしたものであり%%%、Rでいうところのベクトルだ。~ そして、Rでデータを一まとめにして使うときに必要なのが、''c()''という関数。 |SIZE(16):COLOR(red):''Rを使う上で、これだけは絶対に覚えておこう''| |SIZE(16):''Rでデータを一まとめにして扱うときには、 c() という関数を使う''| ~ 例えば、上のデータを、x というオブジェクトに代入したいときには、 x=c(10.4, 5.6, 3.1, 6.4, 21.7) という命令を使う。上の命令を入力した後、「 x 」とだけ入力すると、xの内容が表示される。 > x [1] 10.4 5.6 3.1 6.4 21.7 上の結果に表示された[1]は何だろうか?これは、表示された行の最初の数字が、ベクトルの1番目の要素だということを意味している。では、次のようなベクトルをyに代入して、内容を表示させてみよう。 > y=c(1984,1985,1986,1987,1988,1989,1990,1991,1992,1993, 1994,1995,1996,1997,1998,1999,2000,2001) ウィンドウの大きさによって表示のされ方は異なるが、もし1行に収まらなければ、 > y [1] 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 [15] 1998 1999 2000 2001 というように、2行目の始まりに[15]というような数字が表示される。これは、2行目が15番目の要素から始まっていることを示している。~ 「ベクトル」とは、%%%同じタイプのデータに順番をつけて一まとめにしたもの%%%だった。では、一まとめの中から、例えば、「5番目の要素」だけを取り出すにはどうすればいいだろうか?勘のいい人はもう気づいているかもしれないが、~ > y[5] [1] 1988 と、オブジェクトの名前に順番を[]に入れたものをくっつける事で、目的の要素を取り出すことができる。 ***オブジェクトへのベクトルの代入 [#e456ee5b] では、Rで、沢山のデータを一まとめにして、いろいろ計算してみよう。 ~まずはおさらい。上で出てきた、 ''c()'' という関数を使って、オブジェクトにデータを代入でする。 > x=c(1,2,3,4,5,6,7) > entterキーを押しても何もおこらない?いえいえ。エラーメッセージが何も表示されず、新しいプロンプトが表示されたら大成功。~ (もし、上のようにならなかった人は、半角・全角の文字の違いとコンマやカッコに注意してもう一度やってみよう。) では、プロンプトの後に"x"と入力して、結果を見てみよう。 >x [1] 1 2 3 4 5 6 7 上の様に表示されれば「xというオブジェクトに(1,2,3,4,5,6,7)が代入されたことになる。では、このデータを対象に、統計解析の基本である平均値の計算を計算してみよう。 mean()という関数(meanは英語で平均値の意味)で一まとめにしたデータ(ベクトル)の平均値が計算できる。 命令の入力に自信の無い人は、下の囲みの中をコピー・ペースト。 >mean(x) [1] 4 平均値"4"が表示されれば大成功(これで、あなたがRを使って行う、初めての統計解析は、無事に成功した)~ では、数値をもう少し変えて、自分の好きな値で計算してみよう。。。 上で説明したように、キーボードの"↑"記号を何回か押してみると、 > x=c(1,2,3,4,5,6,7) と表示された。そしたら"←"と"Back space"などを使って、数値を好きに変更して、最後に"Enter"キーを押そう。 > x=c(1232,223.33,3 ,4 , 5666) 半角文字であるかぎり、別にスペースがいくつ入っていても大丈夫。入力したら、上と同じことをしてみると、 > x [1] 1232.00 223.33 3.00 4.00 5666.00 > mean(x) [1] 1425.666 これで、自分の好きな値を入力して、平均を計算することができた。 **Rを使った統計解析 ⌣ [#bc200b30] 生物学を学ぶ限り、自分が実験や観察で得たデータを使うときに、統計解析は必ず使うことになる。生物学のための統計解析の本も、数多く出版されている。一年生の皆さんも、機会をみつけて、できるだけ統計学に慣れ親しんでおいて欲しい。そんなとき、Rは非常に役に立つ。Rは非常に強力な統計解析ソフトであるため、与えられたデータの持つ統計的特徴を瞬時に計算したり、データの持つ意味を推測するための図版を一瞬に作図してくれる。この授業ではRを使って実際にデータを解析することで、統計解析に慣れ親しむ方法を解説する。実際の理論的裏付けは、統計の本を読んだり、授業に出たりして、各自学習してほしい。 -お勧め参考書: 「生物学を学ぶ人のための統計のはなし 〜きみにも出せる有意差〜」(粕谷英一著・文一総合出版・1998. 2400円)~。最初の方はほとんど予備知識無しに読んでも大丈夫。~ &ref(授業/H18/情報処理/09/kasupin.gif); ***統計解析の2つの主要目的 [#o4416488] この授業では統計解析を、次の2つの目的のために使う。 ~&size(14){1. ある対象(母集団)から得られた部分的な数値データから、その対象の持っている性質や特徴を知ること}; ~&size(14){2. ある対象や実験で得られた数値データを用いて、その対象についてどういう判断を下せば良いかを論じること}; ***母集団の性質の推測 [#s3201424] &color(green){&size(14){"ある対象(集団)から得られた部分的な数値データから、その対象の持っている性質や特徴を知ること"};}; ~っていうけれど、「母集団」って何?~ 「母集団」というのは、興味の対象になっている集団全体のことだ。~例えば、 生物学の大きな目的の一つに、自然界に存在する様々な生物の特徴を知ることがある。しかし、自然界の全ての生物個体を計測して、特徴を知ることは不可能。そこで、対象とする生物から、一部だけ(''標本'')を偏り無く取り出して(これを''任意抽出''とか''ランダムサンプリング''と呼ぶ)、特徴を計測し、対象生物全体(''母集団'')の特徴を推定する。こういう作業を「統計的推測」と言う。 #ref(授業/H19/情報処理/09/Untitled-1.gif,60%) この、&size(16){&color(green){「一部を使って全体を知る」};};という点が、が統計の基本だろう。~ 生態学などのマクロ系の生物学では、上のような方法で標本を採集し、母集団の性質の解析に統計学的手法を用いることが、非常に多くある。この授業では、統計学全般について語っている時間は無いので、ほんのさわりしか扱わないが、下に示す参考書などを読んで、勉強しておいて欲しい。受験で培った数学力が落ちておらず、学問に対する情熱が非常に高い、1年生の今が統計学習得のチャンスですぞ! -参考書: 小野寺孝義・菱村豊 著. 「文科系学生のための新統計学」. 2005年. ナカニシヤ出版。 2500円~ 文系学生のために書かれた統計の教科書。説明がシンプルで簡単。 ~ それでは、実際に統計的推測やってみよう。。 ~[[【ここをクリック】>http://bean.bio.chiba-u.jp/joho/index.php?joho21#z04bd38a]]←ここに、産業技術総合研究所 デジタルヒューマン研究センターから提供して頂いた、1997年の男子大学生110人の身長、体重のデータがある。このデータを使って、1997年当時の大学生の身長と体重の一般的傾向について議論してみよう。 このとき、 ~&size(16){''母集団''は%%%1997年当時の大学生全て%%%}; ~&size(16){''標本''は%%%1997年の男子大学生110人%%%}; ~今回の統計的推測では、 110人分のデータから、1997年当時の大学生全体の身長と体重の傾向を推測する ことを目的としている。 +まず、Rにデータを取り込む。データは数が多いし空白で区切られているので、c()を使ってデータを取り込むよりは、scan()という関数を使って、h というオブジェクトにデータを入れる方がいい(データの取り込みには他にもいろんな方法があるが、ここではコピー・ペーストで行えるscan()を使って解説する)。 |SIZE(16):COLOR(red):''データを一まとめにしてオブジェクトに代入する2番目の方法''| |SIZE(16):''コピー・ペーストや手入力でデータをまとめたいときには、''scan()'' という関数を使う''| > h=scan() 1: 画面に表示された 1: の後に、上のページから身長データをコピー・ペーストして、最後にenter キーを押す。次のように表示される。 1: 1775 1710 .. ..<省略>.. 111: 同様にして、体重データも w というオブジェクトにを入れる。次のように表示される。 1: 79.8 58.0 .. ..<省略>.. 111: 確認のために > h > w と入力。データが一覧表示される。 +&size(16){''標本データの視覚化''}; ~計測データが得られたら、まずは、グラフにしてみるよう。グラフとして視覚化することで、データの持つ性質が直観的に理解できる。こういうとき、Rは、いろんなグラフを一瞬にして描画してくれるので、非常に便利。~ まずはヒストグラム(柱状グラフ)を使っみる。Rを使ってヒストグラムを書く場合は > hist(h) キーボードからたった7文字打ち込むだけで、身長の度数分布がグラフで表示される。~ &ref(授業/H18/情報処理/09/hist.gif,around,left); このグラフを見ただけで、標本データでは身長170cmぐらいの学生が最も多く、 データは釣り鐘型の分布をしている。 ということが分かる。同様のことを体重についてもやってみよう。 > hist(w) +''要約統計量の表示'' ~次に、この標本データの平均とか最大値とか、最小値とか、データの集まりがもっている基本的な性質を表示させて見よう。次のように入力。 > summary(h) Min. 1st Qu. Median Mean 3rd Qu. Max. 1578 1671 1700 1706 1734 1839 これで、1997年当時の調査した大学生110人の身長は、平均170.0cm(最大:183.9cm, 最小: 157.8cm)ということが分かった。1st Qu.と3rd Qu.というのは、全体の4分の1の人数がどの高さまでの間に含まれているかということを表している。つまり、167.1cm以下の人が25%、173.4cm以上の人が25%、その間の人が全体の50%ということ。~ &ref(./Untitled-5.gif);~ 体重も同様に解析してみよう。 > summary(w) // Min. 1st Qu. Median Mean 3rd Qu. Max. // 44.20 55.10 59.40 59.53 64.40 82.20 +''身長と体重の関係を視覚化'' ~身長も体重も釣り鐘型の分布になっていた。では、この2つの数値の間に何か、関係があるだろうか?これもまた、グラフで表示させてみる。こういう場合、縦軸に体重、横軸に身長をとって、一人一人の持つ身長と体重の散布図を作る。Rの場合、次のように入力するだけ。 > plot(h,w) 身長と体重の関係は右上がりの直線関係にありそうだ。~ &ref(授業/H18/情報処理/09/plot.gif); +''統計的推定で分かったこと'' ~今回、110人分のデータを使って、1997年当時の大学生男子の身長と体重について、 グラフによる視覚化 要約統計量の表示 散布図の作成 という3つのことを行った。この標本が母集団の性質を表しているとするならば、1997年当時の大学生について、次のような推定ができる。 1997年当時の男子大学生は、身長の平均が170.6cmで、データは釣り鐘型に分布している 体重は平均が59.53kgで、身長と同様にデータは釣り鐘型に分布している 身長と体重の間には、正の相関がある &size(16){これで、1997年当時の男子大学生という母集団の身長・体重について、統計的推定を行うことができた!};~ ~なお、今回は分散や標準偏差の話しは省略した。Rを使った統計解析の基本(データの図示、代表値の計算、データ間の相関)などについてはここでは説明しきれないので、下のリンクにある[[中澤さんによる解説>http://phi.med.gunma-u.ac.jp/statlib/stat.pdf]]などを読んで、勉強してみて欲しい。。 //-例1. 架空の例ですが、西千葉キャンパス内には、チバクサという植物が沢山あるとします。この植物100個体分の葉の長さを計測したものが、次のデータです。 // 1.00 1.03 1.11 0.98 1.03 0.94 1.01 // 0.92 1.02 1.06 1.00 1.00 1.02 1.04 // 0.97 1.02 1.00 1.00 1.04 1.00 0.95 // 0.97 1.03 1.01 1.06 1.00 1.05 0.94 // 1.01 0.93 0.99 0.96 0.99 1.00 1.01 // 1.02 1.06 1.00 1.04 1.05 0.97 0.94 // 0.97 0.98 1.00 1.10 1.03 0.96 1.05 // 1.01 0.93 0.96 1.01 0.94 0.98 1.01 // 0.94 0.93 1.01 0.99 0.90 0.97 1.04 // 1.00 1.08 0.94 1.06 0.99 0.91 0.98 // 0.97 1.11 0.99 0.93 0.99 0.97 1.02 // 1.07 1.05 0.99 1.07 1.01 0.96 1.03 // 0.99 0.99 1.02 1.03 1.03 0.91 0.95 // 1.02 0.99 1.02 0.94 0.89 1.04 0.94 // 1.00 1.00 // (単位:cm) //このデータから、西千葉キャンパス内のチバクサの葉の長さにはどういう傾向があるといえるでしょうか?Rを使って解析してみましょう。 // //+まず、Rにデータを取り込みます。上のデータは数が多いし空白で区切られているので、scan()という関数を使って、Leaf_length というオブジェクトにデータを代入します。 // > Leaf_length=scan() // 1: //画面に表示された 1: の後に、上の囲みの中のデータををコピー・ペーストして、最後にenter キーを2回押します。次のように表示されるはずです。 // 1: 1.00 1.03 .. // ..<省略>.. // 99: 1.00 1.00 // 101: //確認のために // > Leaf_length //と入力してみましょう。データが一覧表示されたはずです。 // //-''標本データの視覚化'' //~それではまず、計測したデータがどういう性質を持っているのか、目で見て分かりやすいグラフにしてみましょう。こういう場合はヒストグラム(柱状グラフ)を使って、ある長さの範囲にある葉が全体のうちどのくらいの割合で存在するのかを示すことができます。Rを使ってヒストグラムを各場合は // > hist(Leaf_length) //と入力するだけです。グラフが表示されましたよね。このグラフを見ただけで、 // 標本データは長さ1cmぐらいのものが最も多く、釣り鐘型の分布をしている。 //ということが分かります。 // //-''要約統計量の表示'' //~次に、この標本データの平均とか最大値とか、最小値とか、データの集まりがもっている基本的な性質を表示させて見ましょう。 // > summary(Leaf_length) // Min. 1st Qu. Median Mean 3rd Qu. Max. // 0.8900 0.9700 1.0000 0.9976 1.0300 1.1100 //これで、このチバクサ100個体の葉の長さは、平均1.00cm(最大:1.11cm, 最小: 0.89cm)ということが分かりました。1st Qu.と3rd Qu.というのは、全体の4分の1の個体がどの長さまでの葉を持つかということを表しています。つまり、0.97cm以下の葉を持つ個体が25%(すなわち1/4)、1.03cm以上の葉を持つ個体が25%、両者の値の間の長さを持つのが全体の50%ということです。 **統計的検定を直観的に理解する⌣ [#cdfd8707] この授業で対象とする統計解析の2つめは、~ &color(green){&size(14){"ある対象や実験で得られた数値データを用いて、その対象についてどういう判断を下せば良いかを論じること"};};~ 前回の予習課題では、つぎのような設問について考えて貰った。~ -「A君とB君の兄弟は、おやつをとる順番を、いつもじゃんけんで決めています。でも、B君は何となく、 A君の方がじゃんけんに勝つ回数が多いなーと感じています(ケーキでいちごの乗ったところを貰えないことが多い...)。ある日、B君がA君に「もうじゃんけんで決めるのやめようよ。お兄ちゃんはじゃんけんに強すぎるもん」って言うと、A君は、「そんなことは無いよ。だって、じゃんけんなんだから、単なる偶然だよ」と言ってとりあってくれません。最近20回分のじゃんけんの結果をみると、A君の勝ちが15回、 B君の勝ちが5回でした。この結果から、A君の方がB君よりもじゃんけんに強いと言っていいでしょうか?」 この設問についてのみなさんの答えは、[[課題結果のページ>http://bean.bio.chiba-u.jp/lab/index.php?%E6%8E%88%E6%A5%AD%2FH21%2F%E6%83%85%E5%A0%B1%E5%87%A6%E7%90%86%2F%E8%AA%B2%E9%A1%8C%E7%B5%90%E6%9E%9C#x8829930]]にまとめてあるが、「A君の方がB君よりもじゃんけんに強いとは言えない」という答えが圧倒的に多かった。 ~ 答えてもらったのはいずれも間違いとは言えないので、期限通りに提出した全員が満点となっている。では、ここで、上の設問を、統計的な手法を使って考えてみよう。 ***直観的説明 [#c351830b] 後で長い説明があるので、まずは正確さは二の次にして、仮説検定の流れを%%%直観的に%%%理解してもらえるような説明をしてみる。この説明のどこが、後で出てくる「帰無仮説」、「有意水準」、「帰無仮説の棄却」にあたるのかは、後で考えてみて欲しい。なんとなく理解できたら、どれでもいいから統計の教科書を読んでみて、正確に理解することをオススメする。 ~ ~ > #ref(授業/H19/情報処理/10/snmpenwl.gif,left,around,nolink) #ref(授業/H21/情報処理/09/010605icon075-trans.png,left,around,nolink) &size(16){A君とB君が20回ジャンケンをしたら、B君は5回しか勝てなかった。ジャンケンの勝ち負けって、半々の確率で決まるはずだけど、A君の方が強いって言っていいのかなー?もしかして、イカサマをしているとか。。}; &size(16){A君とB君が20回ジャンケンをしたら、B君は5回しか勝てなかった。ジャンケンの勝ち負けって、半々の確率で決まるはずだけど、こんなに勝ち負けが偏ることってあるのかなー?もしかして、A君がズルをしているとか。。}; ~ ~ ~ //#ref(授業/H19/情報処理/10/snmpendf.gif,left,around,nolink) ~&size(16){もし、A君とB君のジャンケンの勝ち負けが、本当に半々の確率で決まっているのなら、...}; ~&size(16){「20回中5回しか勝てない」っていうのも、単なる偶然で生じた、わりとフツーに起こることなんだろーね。}; ~&size(16){もし、ズルとかじゃなくて、ジャンケンの勝ち負けが、本当に半々の確率で決まっているのなら、...}; ~&size(16){「20回中5回しか勝てない」っのも、偶然に生じたことなんだろーね。こんなことってよくあるのかなー?}; ~ ~ ~ #ref(授業/H19/情報処理/10/snmpensl.gif,left,around,nolink) #ref(./#09_2.gif,left,around) ~&size(16){でも、%%%わりとフツーに起こるって%%%、どういう基準で決めればいいんだろう?例えば、数字で表したら、どうなる?&br;95パーセントぐらいの確率でおこるようなことならフツーって言うことにしようかな(逆に、残りの5%しか起こらないことなら、滅多に起こらないってことだね).};~ ~&size(16){でも、%%%よくあること%%%って、どういう基準で決めればいいんだろう?例えば、数字で表したら、どうなる?&br;95パーセントぐらいの確率でおこるようなことな「よくあること」って言うことにしようかな(逆に、残りの5%しか起こらないことなら、「滅多に起こらない」ってことだね).};~ &size(16){「ジャンケンの勝敗が完全に半々の確率で決まるとして、20回ジャンケンをする実験」を何度も何度も繰り返して、B君がどの程度勝つかをグラフで表してみると...}; ~ ~ ~ ~ ~ #ref(授業/H19/情報処理/10/snmpengi.gif,left,around,nolink) &size(19){なんと!!};&size(17){「わりとフツーに起こる」範囲と考えた全体の95パーセントって、20回中勝つ回数が6回から14回までの場合だっ!}; ~&size(17){勝つ回数が5回の場合は、残りの5%の範囲に含まれちゃってる...。5%の範囲というのは、フツーじゃ起こらないとした範囲だよなー。}; &size(19){なんと!!};&size(17){「よくあること」の範囲と考えた全体の95パーセントって、20回中勝つ回数が6回から14回までの場合だっ!}; ~&size(17){勝つ回数が5回の場合は、残りの5%の範囲に含まれちゃってる...。5%の範囲というのは、「滅多に起こらない」っていうことにした範囲だよなー。}; ~ ~ ~ &size(16){「20回ジャンケンをして5回しか勝てない」っていうのが、「ジャンケンんの勝敗は完全に半々の確率で決まる」という前提の下ではフツーに起こらないっていうわけだから、}; &size(16){「20回ジャンケンをして5回しか勝てない」っていうのが、「ジャンケンんの勝敗は完全に半々の確率で決まる」という前提の下では「よくあること」では無いというわけだから、}; ~&size(16){「ジャンケンんは完全に半々の確率で決まる」っていうr前提が間違っていたと考える方がいいんだろうね。}; ~&size(16){うん、きっと、どんな方法かは分からないけれど、A君はB君にジャンケンで勝てる方法を見つけてるんだ}; ~ ~ ~ #ref(授業/H19/情報処理/10/snmpenas.gif,right,around,nolink) &size(16){でも、待てよ。フツーじゃ起こらないことの判断基準が5%って大きすぎない?};~ &size(16){でも、待てよ。「滅多に起こらないこと」の判断基準が5%って大きすぎない?};~ &size(16){5%っていうと、、、100回中5回。。。}; &size(18){20回中に1回だ!};~ &size(16){っていうことは、もしも、「ジャンケンんは完全に半々の確率で決まる」にしても、20回に1回は、間違った判断を下してしまう可能性があるってことだね。}; -&size(11){&color(brown){注:};今回このページで用いたペンギンのアイコンは、ホームページ用フリー素材集★沙奈の小物箱★ http://www2g.biglobe.ne.jp/~misana/ から、ジャンケンのイラストは、<a href="http://www.sozaidas.com" target="blank">イラスト素材の素材ダス</a>から使わせていただきました。お礼申し上げます。}; ***もう少しだけ詳しい統計的検定の説明 [#ycd859c0] 上の例では、20回のジャンケンの結果を使って統計的検定の直観的な説明を試みた。こんな単純な例であっても、実際の生物学の研究で使う、統計的検定と、推論の進め方は同じだ。(注意: 下の例は、今回のジャンケンの例にあわせるために、かなり説明を端折っている。ここで直観的に理解したら、上記統計の教科書を見てみよう) まず、統計的検定で、知りたいのは、 「A君とB君が20回ジャンケンをしたとき、5回しか勝てない」という状況は、 「ジャンケンの勝ち負けが、本当に半々の確率で決まる」という前提のもとで、 単なる偶然で起こるようなことか、 あるいは、偶然では滅多に起こらないことか」 ということ。~ このように、得られたデータが%%%単なる偶然で生じることかどうか%%%を知るときに、''統計的検定''という作業が必要になる。 統計的検定では、次のような論証う。 +''帰無仮説と対立仮説を作る'' &br; 問題にしているのは、%%% 「A君とB君が20回ジャンケンをしたとき、B君が5回しか勝てない」という状況%%%は、「A君とB君のジャンケンの勝率には違いがあるかどうか」ということ~ このとき、「A君とB君のジャンケンの勝敗」の決まり方について、次のような仮説を作る A君とB君のジャンケンの勝敗は、半々の確率で決まる この仮説のことを ''帰無仮説''と言いう。&size(11){(統計の教科書を見ると、帰無仮説には「違いがない」とか「差がない」という仮説を使うと書かれている。今回の場合「『ジャンケンの勝敗は、半々の確率で決まる』というだけで、『差が無い』とか『違いが無い』とかは言って無いじゃないか?」と思う人がいるかもしれない。しかし、「ジャンケンの勝敗は、半々の確率で決まる」ということは、「ジャンケンの勝ち・負けそれぞれが生じる確率には''違いが無い''」ということを意味している。字面だけで判断するとこんがらがる場合があるので、要注意。)}; &br; 帰無仮説に対応して、あなたが持っている仮説は、得られたデータは偶然のせいで%%%たまたま偏ったのでは無く%%%、対象の持っている性質そのものが偏っているというもの。この仮説の事を''対立仮説''と呼ぶ。今回の場合、対立仮説は、 A君とB君のジャンケンの勝敗は、半々の確率ではきまらない(A君はB君よりもジャンケンに強い) というもの。対立仮説は帰無仮説を否定したものになっている。 +''p値の計算'' &br; 次に、&size(14){%%%帰無仮説が正しいと仮定した場合に%%%、得られたデータが実現する確率を計算する。};~ 「A君とB君のジャンケンの勝敗は、半々の確率で決まる」(帰無仮説)と仮定しているけれど、サンプリングの際の偶然のバラツキで、20回中5回しか勝てないということだって、よくあることなのかもしれない00000。~ そこで、「20回ジャンケンをしたとき、B君が5回しか勝てない」という確率を計算して、その確率を用いて、「それがどれだけ起こりにくいこと」かを判断する。この確率の事を''p値''(Rでは''p-value''と表示される)と呼ぶ。~ &br; &size(11){ このp値の計算で、一つ注意しなければならないことがある。それは、}; p値の計算をするときに、「20回中勝ちが5回」の場合だけを計算するだけではなく 20回中勝ちが5回以下(5, 4, 3, 2, 1, 0)の場合の確率も計算しなくてはならないということ &size(11){ということ。この後の議論に出てくるように、起きた事象がどれだけ%%%希にしか起きない%%%ことかを判断して、それが%%%滅多におこらない%%%ようなことなら、前提となった帰無仮説が間違っていると判断する。つまり、「勝ちが5回以下」のそれぞれのできごとは「勝ちが5回」という出来事よりも起こりにくいことなので、そう言う場合にも、帰無仮説は棄却される。そのため、p値の計算は「5回以下」の場合の確率が必要になるの。この確率のことを''累積確率''と呼ぶ。};~ //&ref(授業/H19/情報処理/09/Untitled-4.gif); hist(xlim=c(0,20),rbinom(10000,20,0.5)) で表示させた ~&size(10){今回の解説では、片側検定、両側検定の話しは意図的に省略してある}; +''有意水準との比較'' &br; 次に、%%%得られたデータが実現する確率(p値)%%%と%%%''ある基準''%%%とを比較することで、こういう状況が起きることが、「希なことなのか、そうでないのか」を判断する。多くの場合、基準には0.05(つまり5%)あるいは0.001(つまり0.1%)とか0.0001(つまり0.01%))という値が使われる。この基準のことを''有意水準''とか''危険率''と呼ぶ。上で得られたp値と有意水準を比較すると、次の2つの場合が考えられる: ++''p値が有意水準よりも低い'': 「A君とB君のジャンケンの勝敗は半々の確率で決まる」という仮説(帰無仮説)のもとで、「たまたまデータに偏りが生じて5回しか勝っていない」という状況が生じる確率(''p値'')が、「希なことなのか、そうでないのか」の判断基準(''有意水準'')よりも小さいので、この状況は''滅多に起こらない''と考える。このとき、今の考えの前提になった''帰無仮説は否定される''ということになる。 &br; つまり、 「A君とB君のジャンケンの勝敗は半々の確率で決まる」(帰無仮説) (この場合、5回しか勝てないというデータの偏りは単なる偶然) が棄却されたので、 「A君とB君のジャンケンの勝敗は、半々の確率ではきまらない」 (対立仮説)(この場合、データの偏りは、単なる偶然では無い) &br; という仮説が採択される(こういう論理の進め方を%%%''背理法''%%%と呼ぶ)。~ 今回の場合、「得られたデータ(この場合、ジャンケン20回におけるA君B君の勝率)には、...%の有意水準で、''有意差がある''」と言う。また、「「%%%20回中5回しか勝てないという状況は、偶然で生じることはほとんど無いと考えられるので、A君とB君のジャンケンの勝敗は半々では決まらない%%%」と考える。 ++''p値が有意水準よりも高い'':上と同様に考えると、 「A君とB君のジャンケンの勝敗は、半々の確率で決まる」(帰無仮説) が正しいという仮定の下で、「20回中5回しか勝てない」という状況が生じる確率(p値)が、「希なことなのか、そうでないのか」の判断基準(''有意水準'')よりも大きい。言い換えると、「A君とB君のジャンケンの勝敗は、半々の確率で決まるときに、20回中5回しか勝てないという状況は、別に不思議ではない」ということ。つまり 「A君とB君のジャンケンの勝敗は、半々の確率で決まる」(帰無仮説)という仮説は 棄却 されない 得られたデータからは帰無仮説を否定できなかったので、この場合、得られたデータ(この場合、ジャンケン20回におけるA君B君の勝率い)には...%の有意水準で、''有意差が無い''と言う。ここで注意しなければならないのは、''「有意差が無い」''からといって、''「A君とB君のジャンケンの勝敗は、半々の確率で決まる」と結論づけてはいけない''こと。「有意産が無い」のは、「A君とB君のジャンケンの勝敗は、半々の確率で決まっていてもおかしくはない」ということを意味しているだけで、単なる偶然の結果かもしれないし、データ数が少ないせいかもしれないし、いろんな場合があり得る。 ***Rを用いた実際の解析: [#n495e506] では、実際に先ほどの例をRを使って解析してみよう。この検定は二項検定と呼ばれている。また、ここでは有意水準を5%としよう。~ まず、帰無仮説は A君とB君のジャンケンの勝敗は、半々の確率で決まる ということ。この帰無仮説が正しいと仮定すると、 得られたデータの偏りは、サンプリングの際の偶然の偏りであると考えられる。ジャンケンの勝ちという、確率50%で生じる事象が、20回中5回得られたわけだが、検定の際には、これより希な条件も全て含めて確率を計算する。つまり、20回中、5回以下と、さらには勝ちの数が15以上の事象が生じる確率を計算。 手で計算してもいいが、今回はすぐにRを使ってみよう。上の検定を行うにはbinom.test()関数を使う。 > binom.test(x,n) と入力するだけで、実際のx個のサンプルの中で、データ値がn回実現したという状況で、そのデータ値は(もう一つの対になるデータ値に対して)母集団中で1:1で出現するという帰無仮説をテストできる。 このテストの詳しい解説は、上記、粕谷さんの統計の本に載っている。~ &ref(授業/H20/情報処理/09/Untitled-2.gif,60%); 上の例だと、20回中5回が勝ちで、帰無仮説は「A君とB君のジャンケンの勝敗は、半々の確率で決まる」だったので、 > binom.test(5,20) Exact binomial test data: 5 and 20 number of successes = 5, number of trials = 20, p-value = 0.04139 alternative hypothesis: true probability of success is not equal to 0.5 95 percent confidence interval: 0.5089541 0.9134285 sample estimates: probability of success 0.25 p値の値は0.04139なので、有意水準が5%よりも小さい。そこで、帰無仮説「A君とB君のジャンケンの勝敗は、半々の確率で決まる」は棄却される。(もちろん、有意水準を0.001にすると棄却されない) つまり、「A君とB君のジャンケンの勝敗は、有意水準5%で、半々の確率で決まるとは言えない」ということができる(有意水準0.1%の場合は、「2人の勝率に差があるかどうかはわからない」)。「有意水準5%では、A君とB君のジャンケンの勝敗は、半々の確率で決まるという帰無仮説は棄却された」という言い方もある。 どうやら、やっぱりA君の方がB君よりも強いようだ。もしかすると、B君の癖をよんでいるのかもしれない。 ~&size(10){今回の解説では、片側検定、両側検定の話しは意図的に省略してある}; ***Rを使った実際の解析2:2集団の差の検定 [#rf4e63ec] 先ほど1997年の男子大学生110の身長データをhというオブジェクトに入れた。[[【ここをクリック】>http://bean.bio.chiba-u.jp/joho/index.php?joho21#z04bd38a]]のもう少し下の方には、1998年当時60歳以上の男性51人の身長のデータものっている。大学生(平均20.52歳)と60以上(平均68.61歳)では、48歳ほどの差がある。同じ成人男性といったって、40年も違う時代に成長期を迎えたわけだから、身長には違いがあってもおかしく無いような気がする。この2つのデータをみて、2つのサンプルの母集団(ランダムサンプリングが行われたとして、1997年当時の男子大学生全てと1998年当時の60歳以上の男性全て)の間で身長には差があると言っても良いだろうか? 60歳以上の男性の身長データをオブジェクトに格納。scan()関数を使って > h2=scan() 1: 1547 1689 .. ..<省略>.. 52: hとh2のそれぞれの平均値やヒストグラムを比べる。 > summary(h) > summary(h2) > hist(h) > hist(h2) 平均値やヒストグラムを見た限りでは、けっこう違いがありそう。 ~&ref(授業/H19/情報処理/09/Untitled-6.gif);~ もう一つグラフを作ってみよう。2集団のデータを簡単に比較するときに便利な関数が、boxplot()。 > boxplot(h,h2) さて、いよいいよ検定。考え方は上で示したのと全く同じ。ただし、データの持っている性質が違うので、p値の計算方法は異なる。このような2集団の違いの検定には、Wilcoxonの順位和検定という方法を使う。検定の説明はブラックボックスになりがちだが、上で紹介した粕谷さんの本や、[[中澤さんのRの使い方pdf>http://phi.med.gunma-u.ac.jp/statlib/stat.pdf]]には、詳しい考え方の説明があるので、読んでおいて欲しい。今回は''Rを使った統計的検定がいかに楽か''ということを示すのが目的なので、詳しくは触れない。 まず、ジャンケンの例で見たように、帰無仮説と対立仮説を決める。 帰無仮説: 2つのサンプルの母集団の身長に差は無い 対立仮説: 2つのサンプルの母集団の身長に差はある 2つの母集団に違いがなければ、hとh2という集団のデータは、母集団から抽出したときに、たまたま偶然で偏ってしまったものということ。そういう偶然の偏りでこれだけの違いが生じるのは、どのくらいの確率(p値)で生じるのかを計算する。Rではwilcox.test()という関数を使います。 > wilcox.test(h,h2) Wilcoxon rank sum test with continuity correction data: h and h2 W = 4957, p-value = 5.329e-15 alternative hypothesis: true mu is not equal to 0 p値の値は 5.329e-15 で、これは 5.329x10^(-15) を示している。つまり、0.0000000000000005329。これは有意水準の0.01%よりもずーっと小さい値なので、2つの身長データの違いが同一母集団から偶然のサンプリングのバラツキでで生まれたということはほとんど無い、ということを示している。統計学っぽく表現すると、「2集団の差をWilcoxonテストで検定した結果、0.01%の有意水準で有意な差があった」と書く。 どうやら、40年も年齢の異なる2つの母集団の身長には差があると言って良さそう。やっぱり、成長期に摂取できた栄養の影響などが、きっと大きいのだろう。 **リンク: [#b79944d6] -[[CRAN>http://cran.r-project.org/]]欲しい情報、欲しい機能はきっとここで見つかる(でも英語サイト) -[[RjpWiki>http://www.okada.jp.org/RWiki/index.php?%a5%ea%a5%f3%a5%af%bd%b8]] Rに関する様々な情報 -http://phi.ypu.jp/swtips/R.html 統計処理ソフトウェアRについてのTips(群馬大・中澤さんによるページ) --[[同筆者による解説PDF>http://phi.med.gunma-u.ac.jp/statlib/stat.pdf]](これを全部読んで、Rを使って練習すれば、統計が得意になるかも) **第9回授業の課題 [#ecdbb04b] -提出期限:6月17日水曜正午 ***課題1.意見調査 [#e46f8e87] +&size(16){http://bean.bio.chiba-u.jp/joho/index.php?joho21 に、「自分のID」/09 という新しいページを作成し、下の囲みの中にあるアンケートをコピー・ペーストして、「回答:」の後に答えを書き込むこと。}; -手順 ++画面の上の方にある〔 新規 〕をクリック ++ページ名を尋ねる入力スペースが表示されるので、半角英数字で、ドット・スラッシュ・0・9を下のように入力 ./09 ++下の囲みの中をコピー・ペーストし、回答や答えを書き込む *第9回授業・基本課題 **氏名: **課題への回答 -今日の授業の進み方は?(はやい、丁度いい、おそい) --回答: -今日の授業の難しさはどう感じましたか(簡単 丁度いい 難しい): --回答: -難しいと答えた人は、特にどの点が難しかったですか?: --回答: -今日の授業は(分かった 半分ぐらいは分かった 分からなかった): --回答: -分からないと答えた人は、特にどの点が分からなかったですか?: --回答: -今日の講義で分からなかった用語があったら挙げてください: --回答: -授業に関する要望・質問があったらなんでもどうぞ: --回答: ***課題2.Rを使った統計解析:ヒストグラムの表示 &ref(./添付したヒストグラムの画像ファイル名); ***課題3. &ref(./添付したヒストグラムの画像ファイル名); ***発展課題 -問1の答え:身長の平均: 体重の平均: -問2の答え:帰無仮説:「 」 -問3の答え:対立仮説:「 」 -問4:検定に用いたRの計算式と結果 計算式: 結果: -問5:検定の結果から議論できること: ***課題2. Rを使った統計解析:ヒストグラムの表示 [#va336433] -[[身長・体重データ>http://bean.bio.chiba-u.jp/joho/index.php?joho21#z04bd38a]] にある1997年の計測データのうち体重データ(2つめの囲み)のヒストグラムを、Rを使って描きなさい。できたヒストグラムはWinshotで切り取って、上で作成した課題提出ページに表示させなさい。 ***課題3.Rを使った統計解析 [#ke4f8c57] -[[このクラスの男子学生の身長・体重データ>http://bean.bio.chiba-u.jp/joho/index.php?joho21#k1462529]]を用いて次の操作を行い、身長(x)と体重(y)の散布図を描きなさい ~手順 ++scan関数を用いてオブジェクトxに身長のデータを代入 ++scan関数を用いてオブジェクトyに体重のデータを代入 ++plot(x,y)というコマンドで、散布図を表示 ++できたグラフをWinShotを用いて切り取り、課題3のところに貼り付ける ***発展課題. Rを使った統計的検定 [#g3f7323a] -次の説明文を読んで、Rを使った統計的検定を行いなさい。下の囲みを上で作ったページにコピー・ペーストし、「:」の後に答えを書き込みなさい。 -注:この課題は教員からの指示があるまで行わないこと。男子学生全員がデータ入力をし終わったのをみてから、指示を出す。 -[[生物学科1年男子学生の身長・体重>http://bean.bio.chiba-u.jp/joho/index.php?joho21]] データを用いる。データはスペース区切りになっているので、K2Editorとエクセルを使って、これまでやってきたように整形し、身長のみ、体重のみのデータにしてかdら使うこと。Rのscan()関数を使ってオブジェクトに格納すると楽です。この問題は、上でやった「統計的検定2」の内容とほぼ同じ。 -1997年男子大学生110人と、生物学科1年男子学生の身長のデータは、それぞれが、当時の大学生の集団から、任意にサンプリングされたものだと仮定します。このとき、両者の母集団の身長に差があるかどうかを検定します。 -問1:生物学科1年男子学生の身長の平均と、体重の平均を答えなさい -問2:この場合の帰無仮説は何ですか?: -問3:この場合の対立仮説は何ですか?: -問4:検定に用いたRの計算式と結果をコピー・ペーストしてください -問5:検定の結果からどのようなことが議論できますか?: