授業/H26/情報処理/05 のバックアップ(No.2)

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
授業/H26/情報処理/05 へ行く。
- 1 (2014-05-15 (木) 13:06:15)
- 2 (2014-05-15 (木) 15:54:33)
- 3 (2015-05-13 (水) 16:46:06)

正規表現の応用＆エクセルを使ったデータ解析 †

正規表現の応用＆エクセルを使ったデータ解析

第5回授業の獲得目標： †

1. 発展的な正規表現：後方参照への挑戦
2. Excel（エクセル）の操作の基本：表計算
3. 正規表現検索・置換とエクセルの合わせ技に慣れる
4. サンプルデータの並び替え
5. 並び替えたデータの集計

グループワーク：あなたにとって研究者って何？ †

この授業の前が体育であることもあり、授業の最初から全員がコンピュータの操作をすぐに始めるのは、なかなか難しい。そこで、授業の始めには、たいてい、グループディスカッションを持ってくるようにしている。
今日の最初の演習は、自分にとって研究者というのはどういうものかという意見をグループで話し合ってみること。まず、５分ぐらいで（遅れてきた人は、その間にログインしておくこと）
　自分が「研究者」とはどういうものだと思っているか？
　「研究者」になるためには、今からどんな準備をすればよいか？
を話し合ってみよう。また、ディスカッションの後、授業のmoodleにアクセスして、「演習1」の質問に答えてほしい。

演習1: http://bean.bio.chiba-u.jp/moodle24/

↑

研究者を目指す人のための長期計画 †

例年、１年生の中には、将来、研究者になることを志望している人が多い。また、学部生から修士にかけて生物を学ぶ間に、新たに研究者を目指す学生もでてくるだろう。そこで、一つの事例として、研究者になるために知っておくと得をするかもしれない、いくつかの事例を紹介しておこう。
題して、学部生から研究者を目指す学生が、今から知っておきたいこと

事項＼年	2014	2015	2016	2017	2018	2019	2020 ...	2023..
学年	学部1年	学部2年	学部3年	学部4年	修士1年	修士2年	博士1年...	博士4年
主な活動	授業	授業	授業	研究・院入試・卒論	研究	研究・修論	研究・論文...	研究...
目標	自分次第	自分次第	自分次第	院入試で上位（奨学金に影響）投稿論文を目指した卒研	投稿論文発表（投稿規定・論文書式）	学振DC申請（５月）	論文作成、学振PD申請...	研究職応募..
サポート	各種留学制度	各種留学制度	各種留学制度	各種留学制度	奨学金・返還免除・各種助成		学振DC1、奨学金、各種助成...	学振PD申請・海外学振申請、助成金, 、奨学金返還免除.
Word・Excelの利用	実験・レポート	実験・レポート	実験・レポート	研究・卒論	研究・論文・申請書	研究・学振申請書・修論	研究・論文・申請書・報告書...	研究・論文・申請書...

もしも、修士で第一種奨学金をもらえてそれが免除され、さらに、学振DC1ももらえたら、修士課程と博士課程での収入は、

事項＼年	2018	2019	2020	2021	2022	2023
学年	修士1年	修士2年	博士1年	博士2年	博士3年	博士4年
奨学金＋学振DC1	1,056,000	1,056,000	2,400,000	2,400,000	2,400,000	2,400,000

その他にも、学内、学内のいろんな制度で、海外学会に参加したり、留学したりできる（トビタテ留学!の募集要項は、共有しているDropBoxフォルダに入れておいた）。
学振の話しや、申請書の話しはまた次回以降にするが、皆さんに知っておいて欲しい大事なことは、

近い将来にいろんなチャンスが待っていること
チャンスは、つかもうと思えば、つかめること
そのためには、現状認識と計画が不可欠であること

↑

発展的な正規表現：後方参照への挑戦 †

まずは、前回のおさらいから。

授業のmoodleページにアクセスして、演習2をやろう。

演習2: http://bean.bio.chiba-u.jp/moodle24/

↑

後方参照とは？ †

今日は１つ上のレベルの正規表現「後方参照」にチャレンジしてみよう。
K2Editorのヘルプで後方参照に関する項目を見てみると、次のように書かれている。

後方参照
正規表現の中で()を使ってグループ化された部分にマッチ文字列は、 ¥1,¥2などの表現で、
再度正規表現の中に埋め込むことが可能です。

ちょっと分かりにくいかも知れないが、半角の

()

の中で指定したパターンにマッチした文字列を、

¥1

などという記号を使うことで、呼び出すことができるということだ。
まず簡単な例で操作をしてみよう

テキストデータ：　A9JA49K6　　に対して、
Aの次の1文字と、そのAの並び順を入れ替えたい。

K2Editorで実際に試してみると：

テキストデータ　　A9JA49K6
・Aに続く1文字とAの順序入れ替え
　　検索文字列　(A)(.)
　　置換文字列　¥2¥1

↑

書籍リストを出版年順に並び替える †

では、もう少し具体的な例をつかって、段階的に説明してみよう。
まず、次のような書籍のリストがある。このリストを、K2Editorで開いてみよう。書籍リスト.txt

次のようなリストが入っているはずだ（一部のみを表示）（データは、生物科学ニュースホームページhttp://bsj.or.jp/nc2/htdocs/から拝借した）。
・絵でわかる細胞の世界黒谷明美著，講談社，2001年，162ページ，2,000円
・細胞工学別冊　植物細胞工学シリーズ19　新版　分子レベルから見た植物の耐病性　島本　功・渡辺雄一郎・柘植尚志監修
・琉球弧の成立と生物の渡来　木村政昭編著，沖縄タイムス社，2002年，206ページ，8,200円
・植物ゲノム機能のダイナミズム　 —転写因子による発現調節—　岩淵雅樹･篠崎一雄編，シュプリンガ−・フェアラーク東京，2001年，256ページ，5,000円
・森林の環境・森林と環境　地球環境問題へのアプローチ　吉良竜夫，新思索社，2001年，358ページ，3,800円
・植物の観察と実験を楽しむ−光と植物のくらし−　松田仁志著，裳華房，2004年，159頁，1,600円

↑

まずは、これまでに習った正規表現で、どこまで解決できるか考えてみる †

このリストには、出版年が含まれているにも関わらず、出版年の順番に並んでない。どうすれば、出版年で並び替えられるだろうか？
リストをよく見てみると

タイトル・著者,出版年,ページ・価格

という順番で並んでいる。ここで、

出版年だけを切り出して、
出版年　＜タブ＞ タイトル・著者,出版年,ページ・価格

というリストを作り、エクセルにペーストして

出版年	タイトル・著者,出版年,ページ・価格

という表を作り、出版年で並び替えれば良いということまでは、想像できるだろう。
では、出版年だけを切り出すにはどうすればいいだろうか？まず、これまでにならった正規表現で表現できるところだけを書いてみると、

ファーストネームは、行の先頭から始まって、空白で終わる文字列だから、これまでに習った

^　　　　　は行の先頭を表す
[0-9]+年　　　　は、数字の出版年を表す
.*,　　　は全角の,で終わる任意の文字列を表す
$　　　は行の終わりを表す

これらを組み合わせて、

^.*,[0-9]+年.*$

で１行の情報全てを表せるだろう。
なので、例えば、

検索文字列： ^.*,[0-9]+年

で、

・琉球弧の成立と生物の渡来　木村政昭編著，沖縄タイムス社，2002年
・植物の観察と実験を楽しむ−光と植物のくらし−　松田仁志著，裳華房，2004年
.....

という出版年で終わる文字列は表せるけれど、これを年度に置換するときには、

置換文字列：  2002年
　　　　　　　^^^^

今まで習った通りだと、何か置換文字列を指定しなければならない。
上の例だと、

2002年
2004年
....

という異なる年度に置換したいので、一度の置換ではできそうにない。

もしも、このとき、最初の行で、当てはまった「2002年」をどこかどこかにコピーして保存しておいて、自分の置換文字列に指定できれば、いいだろう。
この、

検索文字列と一致した文字列を保存しておいて、置換文字列に使う

ということをやってくれるのが、後方参照だ。

前置きはともかく、まずやってみよう。新しく登場するのは、

( ) 半角のカッコで、検索文字列を囲んでおくと
置換文字列に半角の￥マークと数字を使うことで、　（例：　¥1  ¥2  こんな風に）
上でカッコで囲んだ検索文字列を呼び出せる。
 では、上の書評リストを出版年と出版年以外のパートに分けて、カッコで囲んでみよう
^(.*,)([0-9]+年)(.*)$

こうすることで、検索文字列で使われた( )内の文字列を、左から順番に置換文字列として指定することができる

(.*,)　　　　　　→　\1
([0-9]+年)　　→　\2
(.*)　　　　　　→　\3

具体的に上の例の１行目で考えると

・絵でわかる細胞の世界 黒谷明美著，講談社，　→　^(.*，)　　　　→　\1
2001年　　　　　　　　　　　　　　　　　　　　→　([0-9]+年)　→　\2
，162ページ，2,000円　　　　　　　　　　　　　→　(.*)$　　　　→　\3

演習：3　今までの解説に従って、添付の書籍リストで後方参照による検索置換を行って、
```
出版年　＜タブ＞ タイトル・著者,出版年,ページ・価格
```
に置き換えてみよう。

答え：
1. K2Editorに上のリストをコピーする
2. 置換ウィンドウで、次のように指定する
```
検索文字列：　^(.*，)([0-9]+年)(.*)$
置換文字列：　\2\t\1\2\3
```
3. 置換を実行
4. エクセルにコピーペーストして、一番左の列で並び替え

↑

練習：日付データの形式変更 †

下に友達の誕生日リストが月、日、年の順で書かれている。

April 29, 1984
March 20, 1987
September 23, 1980	
December 23, 1982
February 11, 1984
January 1, 1999
May 3, 1988
May 4, 1993
May 5, 1987
November 23, 1985
November 3, 1994

このリストを正規表現検索置換を使って、
1. 年・月・日の順（例：1984 April 29）に並び替えなさい
2. 日、月、年の順（例：29 April, 1984）に並び替えなさい
- この課題が簡単すぎて暇をもてあました人は、エクセルを使って同じことをやってみよう（この場合は実はエクセルの方が簡単　列全体を選択して、コピー・ペーストするだけ）
解答例
```
検索文字列：([A-Za-z]+) ([0-9]+), ([0-9]+)
置換文字列：¥3 ¥2 ¥1
 あるいは
検索文字列：^([^ ]+) ([^ ]+), ([^ ]+)$
置換文字列：¥3 ¥2 ¥1
```
- 補足：２番目の例では、([^ ]+)（意味：空白以外の1回以上の連続）が改行を含んでしまってるため、最後に１行の終わりを示す$をつけないと、うまく行かない。

また、上の例では

^  には２つの意味があるので注意！！

■検索文字列の最初においた場合は行頭から始まることを示す
  ^[A-Z].*　で、行頭がアルファベット大文字で始まる任意の文字列
■文字集合を表す[ ]の中で最初に置かれた場合、それに続く文字以外を表す
 [^a-z]+     で、英小文字以外の任意の文字からなる文字列
 参考：$は検索文字列の最後に置かれた場合、行末であることを示す
  [a-z]+$　 は、行末に続く英小文字の連続を示す

正規表現の例のいくつかは、昨年度の学生の要望で作った、授業/H20/情報処理/正規表現熟語帳を参照してみよう。自分でこういう単語帳を作ってみると、正規表現への理解がますます高まるだろう。

やりたいこと	検索文字列	対象文字列の例	置換文字列	置換された結果例	コメント
１行に含まれる全ての文字列を置換	^.*$	abcdefg hijklmn 12345 opqrstu vwzya 98765	Replaced!	Replaced! Replaced!
連続する半角スペースをタブに置換	[ ]+	abc def hij k	¥t	abc<tab>def<tab>hij<tab>k
AまたはKをZに置換	[AK]	BACK BaKery KABA	Z	BZCZ BaZery ZZBZ
AまたはKとそれに続く任意の１文字をZに	[AK].	BACK BaKery KABA	Z	BZZBaZry ZBA
スペース以外の文字列の連続をtangoに置き換え	[^ ]+	I am a boy. You are a girl.	tango	tango tango tango tango tango tango tango tango
1行を行頭からスペースで4つのパートに区切り、順序を逆に並べ替え	^([^ ]+) ([^ ]+) ([^ ]+) (.*)$	12 34 56 78 90 Que sera, sera. Whatever will be.	¥4 ¥3 ¥2 ¥1	78 90 56 34 12 Whatever will be. sera. sera, Que

↑

発展演習：　DNAの塩基配列データの整形処理 †

添付されているファイルsequence_Pdic.fastaには、Pedicularisという植物のDNA塩基配列データがFASTA形式で入っている。GenBankからダウンロードしたままの形式なので、

>gi|310769146|gb|HM596759.1| Pedicularis procera tRNA-Leu (trnL) gene
 （GenBankID, データベース、Accession No.、種名、遺伝子の種類...）

が、それぞれのデータを示すラベル情報として入っている。これを、よりシンプルに、

>種名の省略形_Accession No.
という形に整形したい。上の例だと、
>P_procera_HM596759

に置換したい。どのようにすれば良いか、考えてみよう。
この操作は、実際にDNAデータベースのデータを使って、系統解析を行うときに、知っていると大変役に立つ。

↑

Excel（エクセル）の操作の基本：表計算 †

今日から２回ほど、表計算ソフトの代表ともいえるExcel（エクセル）の操作を習得する。表計算ソフトは、コンピュータに作らせた表の上に数値を記入して計算させるもの。手計算では、表の中の一つの数値を変更したら他の数値も全てもう一度計算し直さなければならない場合も、表計算ソフトを使うと、他の数値は自動的に再計算される。このアイデアは、ハーバード大学の学生であったDaniel Bricklinが1979年が思いつき、VISICALCというソフトウェアとして実現したものだ。その後、表計算ソフトは、DOS/V機（日本ではPC-98）におけるLOTUS-1-2-3やWindowsにおけるMicrosoft Excelとして発展してきた。表計算ソフトは、ハードウェアの普及を促進したということで、パーソナルコンピュータにおけるキラーソフト（キラーアプリ）と呼ばれている。

↑

Microsoft Excelの各部の名称 †

↑

値・数式の入力と計算 †

セルを一つクリックして、 =1+2 という式を入力

↑

セルの参照 †

セルA1に5, セルB1に8を入力
セルC1をクリックして半角=を入力し、セルA1、せるB1をクリック
- （あるいは、セルC1をクリックして、=A1+B1と入力しても同じ）
```
5	8
```

↑

式（参照）のコピー・ペースト †

式を入力したセル（例ではC1）をクリックしてコピー(ctrl+c)：選択されたセルが波線で囲まれる
同じ法則（例では「左側の２つのセルの値を足すこと」）を適用したいセルをマウスドラッグで選択
ペースト(ctrl+v)すると、選択範囲に全て式がコピーされる
```
5	8
1	2
3	4
5	6
7	8
```

↑

絶対参照 †

下の例のようにエクセルに果物の個数を入力して合計を求める
りんごの個数の全体に対する比率を =B2/B5 で計算。書式をパーセントにする（あるいは、パーセントの計算式を入れる。関数を使っても良い）。
りんごの比率の入ったセルをコピーして、他の項目の比率のセルにペーストしてもうまく行かない
これは、通常のコピー・ペーストでは、セルが相対的な位置関係で参照されるため
リンゴの比率を計算するときに、分母のセル指定を $B$6 と$記号をつけて参照することで、絶対参照できる
- 　→　
```
	個数	比率
りんご	10	
みかん	15	
ばなな	25	
合計	50	
```

↑

関数の利用 †

合計を入力したいセルをクリック（例ではC6）
=sum(　と入力し、マウスで合計したい数値の範囲をドラッグし、最後に ) を入力してリターン

（合計を入力したいところにカーソルを持っていって、ツールバーのΣをクリックしてリターンでもよい）
　→　
今つかったsum関数は、エクセルを利用する上で最も頻繁に用いられる関数。使い方をよく覚えておこう。

↑

正規表現検索・置換とエクセルの操作に習熟 †

これまで何回か出てきた話だが、

テキストデータを"タブ"で区切れば、エクセルの表に簡単に移せる

ということだけは、覚えていてくれていると思う。今日もこの技をつかって、テキストデータをエクセルに移し、様々な操作をしてみよう。

↑

演習4：　ウェブに貼ってある解析用データをエクセルに移動して、今日やる集計の準備 †

これからの学生生活で、皆さんはきっといろんなデータを集計する機会に出会うはず。例えば、名簿、部費の管理、アンケート調査の結果、そしてもちろん、実験データ。こういうデータは必ずしも、いつも最初からエクセルに入力されている訳ではない。たとえば、メールで受信した解析データをエクセルで集計したい場合もあるはず。そんなときにもやっぱり、

データの区切りをタブに置換して、エクセルで集計！

では、下の囲みの中のようなデータを解析してみよう。これは、千葉大の西千葉キャンパスの草地に３つの区画をつくり、それぞれの区画での植物の出現個体数をまとめたものだ。

区画No.1
カラスノエンドウ   5
セイヨウタンポポ   2
オランダミミナグサ 10
オオバコ　1
スズメノテッポウ  8
キュウリグサ　 5

区画No.2
キュウリグサ  1
スズメノテッポウ　　3
オランダミミナグサ  1

区画No.3
カラスノエンドウ  10
オランダミミナグサ 12
ヘラオオバコ  5
ヤセウツボ  3
キュウリグサ  8
スズメノテッポウ  5

このデータでは、区画ごとに、種名と出現個体数が書かれている。これをエクセルで

区画No.	種名	出現個体数	日付（＜日付については後ほど手入力＞）
1	オオバコ	1	2010/05/20
. . .	. . . . . . .	. . . . .	. . . . .

という形で集計したい。

手順を考えて、自分でやってみよう。
この操作さえ覚えれば、調査データをその場で携帯メールに打ち込み、集計する人に送信しちゃうなんていうことができるので、とても便利。

↑

演習1：　作業手順・K2Editorによる正規表現を用いた一括検索・置換 †

データをK2Editorにコピー
データをじーっとみると、
```
種名＜スペース＞数字
```
という並びが見えてくる。どうやらスペースには、半角と全角のスペースが混在しているようだ

K2Editorで正規表現検索・置換で全置換

検索文字列： [ 　]+（注：[]の間に半角と全角のスペース1文字ずつ入れる。これでスペースの1文字以上の繰り返しを意味する）
置換文字列：¥t（注：半角￥マークと半角t：タブのこと）

置換できたもの全てをコピーしてエクセルの新しいシートに貼り付け

自分で考えてここまで出来ただろうか？

↑

演習1：　作業手順・エクセルによるデータ整形 †

これでテキストファイルからエクセルへのデータの移動はできたが、まだ、

区画No.	種名	個体数	日付（＜日付については後ほど手入力＞）

という形にはなっていない。

集計作業　では、データ行の上には　''見出し行'　'を作り、それぞれの列の　見出し　を書いておく

ことが必要だ。そこで、エクセルの上で、行の挿入、コピー・ペースト等を使って、下の様な形に整形する。（操作方法は前方スクリーンで示す。ほとんど全て、マウスの右クリックでメニューを表示させてできる。）。

見出し作成：　ワークシートの最左端の"１"という四角をクリックして、1行選択。メニューバーの「挿入／行」　で最上部に１行挿入。
それぞれのセルに、見出しを入力（上の囲みの中をコピー・ペーストしてもよい）

ついでに、上の図のように、日付も入力しておこう。１つ入力したら、あとは、コピー・ペースト。

これで集計の準備はできた。

↑

サンプルデータの並び替え †

データの並び替え（ソートともいう）は、大量データを扱う上で、絶対に知っておかなければならない方法なので、必ず習得して欲しい。

ぱっと見で分からなくても、並べ替えたり、集計したりすると、何かが見えてくる

では、サンプルデータを見てみよう。ここで、

全部のデータを合わせたとき、どの種の個体数が最も多いか

を知りたいと思ったのだが、この表では、同じ種がばらばらに出てくるのでわかりにくい。そこで、「種名」で並べ替えてみる

手順：

全てを選択し（Aと1の間のボタンをクリック）
右端の「並べ替えとフィルター」→「ユーザー設定の並び替え」
- 並べ替えウィンドウの中、「範囲の先頭行」で「タイトル行」を指定し（ラジオボタンをクリック）
- 優先されるキーで「種名」、昇り順
「OK」をクリックすると、種名順に並びかわる。

これで、同じ種名のものが近くにまとまったので、全部のデータを合わせたとき、どの種の個体数が最も多いかかがわかる。

並び替えでは２つの並べ替えキーを設定することもできる。先の並び替えの２番目のキーに「個体数」を指定して並べ替えてみよう。

↑

並び替えたデータの集計 †

上の並び替えで、どうやらオランダミミナグサの個体数がもっとも多いとわかるのだが、実際に何個体現れたのかを知ろうと思うと、いちいち計算しなければならくて面倒。そういうときにエクセルの「集計」機能を使って、自動的に計算させる。

　　　　重要事項：集計する前にグループの基準になる項目で必ず並べ替えておくこと

手順：

全てを選択し（左上角の<>をクリック）
「データ」リボンから、「小計」
集計したいのは「種名」の「個体数」の「合計」なので、以下の３項目をチェック。（例では「現在の集計行と置き換える」、「集計行をデータの下に挿入する」をチェックしてあるが、この例ではしてなくても良い）
```
グループの基準：　種名
集計の方法： 合計
集計するフィールド：個体数
```
「OK」をクリックすると集計データが表示される。
集計見出しの２をクリックすれば、集計結果だけが表示される。

これで、「オランダミミナグサが23個体で最も多い」と分かった。
万一失敗しても、集計データはすぐに消せる。

集計データを削除するには、上の集計ウィンドウで「削除」をクリック。
元データは削除されないので心配無用。