データ分析の流れ

　「ビッグデータを活かすデータサイエンス」では、ビジネスにおけるデータ分析の流れを、「現状とあるべき姿」「問題発見」「データ収集と加工」「データ分析」「アクション」に分けている。「現状とあるべき姿」は、現状を把握し、本来どうあるべきなのかを考えることである。両者のギャップが、問題になる。このとき、問題の要因を探すのに、「影響度合い」「分解」「比較」という観点で見るのがよいと主張している。「影響度合い」は、ギャップの要因が、結果に対してどの程度影響するのかである。「分解」は、ギャップの要因をより細かな要素の分解する。このとき、MECEになるようにするとよい。MはMutually（要素を互いに）、EはExclusive（重複なく）、CはCollectively（漏れなく集める）、EはExhaustive（全体を尽くす）である。「比較」は、問題が起きているときのデータと、そうでないときのデータを比較する。時系列に、類似商品や類似サービスという観点で比較するとよい。「データ収集と加工」は、データ収集にも時間とコストがかかるから、「どんなデータが必要なのか考えろ」ということである。データは分析しやすい形に成型されているとは限らない。この加工は、その後の分析を効率的にできるかを決める。「データ分析」は、ビジネスでは「意思決定支援」と「自動化・最適化」に分けられる。「意思決定支援」は、問題解決のためのアクションを、人間が決定・実行するのを支援するのが目的である。人間が状況を理解して、適切な判断ができるようにする。単純で、理解しやすいモデルが効果的とされる。「自動化・最適化」は、問題解決のためのアクションをコンピュータに実行させるためのアルゴリズムを構築する。機械学習の手法を使う。「アクション」は、分析結果に基づいてアクションを実行するかどうかを決める。

データサイエンティスト

　巷で、データサイエンティストと呼ばれる人たちが出現しつつあります。メディアなどで取り上げられ、急速にその存在感を増しています。その背景にはビッグデータをビジネスに活かそうとする、企業側の動きがあります。社内外のデータを使って、自社のビジネスに役立つ情報を得ようと、データ分析を行うのです。 　2013年7月、日本経済新聞は、「ビッグデータ分析に人材の壁、25万人不足の見通し、、、」という記事を掲載しました。この記事の中に、「政府は関連ビジネスの経済効果を7兆円超と試算、、、」なんて文言が入っています。ってことは、データサイエンティストになれば、引く手あまたってこと？と思ってしまいます。それに、「ハーバード・ビジネスレビュー」誌が、データサイエンティストを「21世紀で最も魅力的（セクシー）な職業」と書いたものだから、その認知度が進んだのです。 　でも、このデータサイエンティストという職業には、決まった定義が存在しないようです。色んな背景を持った人たちがデータ分析に携わってきたから、当然と言えば当然です。今は流行だから、何でもありの状態になっていますが、その内淘汰されていくのでしょう。ただ、統計学やITに関する専門知識を持っているだけでは十分ではないと言われています。「統計学×IT×ビジネスの領域横断のクロス人材」（橋本大也）という人もいれば、「データサイエンティストとは、自分に関わる人すべてが理解できる言葉でコミュニケーションを図り、言葉と視覚、理想的にはその両方を使って、データで物事を語るという特殊なスキルを持つ人」という人（先の「21世紀で最も魅力的（セクシー）な職業」を書いた人たち）もいます。後者はビジネスに関する知識やスキルまで要求していないようですが、前者はマーケティングを含むマネージメントの知見が要ります。

インフルエンザ流行の予測

　Google Flu Trend（インフルトレンド）は、検索語句に基づいてインフルエンザの流行を予測するもので、2009年に論文が発表されました。それを見て、「こんなことができるのか」と感心したものです。アメリカでは、CDC（アメリカ疾病予防管理センター）がインフルエンザの流行に関する統計データを出しています。これには1-2週間の時間遅れが含まれるようですが、インフルトレンドはほぼリアルタイムで結果を出します。下図が、日本のインフルエンザ流行の推移です。インフルトレンドの予測は、実際のデータによく合っているように見えます。

　アメリカの予測に使ったデータは、以下の2種類です。
・過去5年間（2003-2008年）のGoogle検索に入力された検索語句
・アメリカの9つの地域でインフルエンザによって病院を訪れた患者の数（CDCが週単位で発表）
検索語句の上位5千万件を選んで、週単位の検索数（を総検索数で規格化）とCDCのデータとの相関関係を調べます。膨大な数式モデルを使って検索語句を分析し、CDCが提供しているインフルエンザ症例とを比較しました。そこで、特定の検索語45個と、ある数式モデルを組み合わせたとき、グーグルの予測とCDCデータとの間に高い相関関係が見られました。これで、GoogleがCDCと同じように、インフルエンザがどこで流行しているのか特定できたわけです。
　ところが、Googleのインフルトレンドが、インフルエンザの流行を過大評価していたとの記事が「サイエンス」誌から発表されました。2011年8月から誤った予測を出し続けていたといいます。確かに、近年の流行予測は多くなる傾向が続いていて、変だなという感じはありました。やはり、データの相関だけでは限界があるのでしょうか、、、。

ビッグデータの正体

　ビクター・マイヤー=ショーンベルガー著「ビッグデータの正体」には、「ビッグデータの衝撃」よりも、衝撃的な内容が書いてありました。ビッグデータの定義として、「小規模ではなしえないことを大きな規模で実行し、新たな知の抽出や価値の創出によって、市場、組織、さらには市民と政府の関係などを変えること」というのは、全うでしょう。しかし、「全てのデータを扱う」「量さえあれば、精度は重要ではない」「因果関係ではなく相関関係が重要になる」という３つの変化で述べられている内容は、なかなか刺激的です。
　１つ目は、標本をベースとした確率への挑戦です。「すべて」というところが重要で、無作為抽出で得られた標本でないから、その中で起きていることが細かく分析できると主張しています。２つ目は、「質より量」という話であす。量が増えれば、不正確なものが入り込みます。不正確なものが混じっていても、正確なものが大量にあれば、許容できると主張しています。大量にあることのメリット（変化を捉えるとか）を活かそうということです。３つ目は、結果がより重要視され、その原因はあまり重要で無くなるというものです。「こうなったら、こうなる」という関係だけわかれば、ビジネスはできます。なぜ、そうなるのかの理由は必要ありません。今一すっきりしないやり方ですが、とにかく結果がそうなるのだから、説明は求めないことにするのです。

確率変数

　確率変数というのは、確率統計を学ぼうとする初学者にとってわかりにくい概念ですね。確率の問題では、どの事象が起きるか前もってわかっていないため、実際にその事象が起きてみないと、値が決まらない場合があります。生じる事象によって値が変化する変数が、確率変数です。
　例えば、サイコロを振ったときに出る目を考えましょう。サイコロの目は1から6までありますから、それらの目のどれかが出るのですが、サイコロを振る前はどの目が出るかわかりません。サイコロを振ったとき、サイコロの目が1となる事象を1、サイコロの目が2となる事象を2、というように、サイコロの目に対して1から6までの整数値が対応することにしますと、サイコロを振る前はどの数値をとるかはわからない、というです。この数値を対応させた変数が、確率変数です。
　したがって、確率変数は、試行を行うと値が決まる変数です。試行を行ったとき、起きた事象に対応した具体的な数値は、実現値といいます。サイコロの目が1となる事象を1、サイコロの目が2となる事象を2、としたように、1とか2とかの数値が実現値です。確率変数は大文字で、その実現値は小文字で記述されることが多いです。

確率変数$X$の実現値

1	2	3	4	5	6
$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$

　少し厄介なのは、離散的な値をとる場合と連続的な値をとる場合があることです。サイコロの目のように確率変数の実現値が$x_1 = 1$、$x_2 = 2$、、、といようにとびとびの値をとる場合、確率変数が離散的な値をとるといいます。一方、人の身長のように確率変数の実現値が$-150 \leq X \leq 190$というように連続的な値をとる場合、確率変数が連続的な値をとるといいます。確率変数を使うメリットとして、「サイコロの目が1となる事象」という代わりに、「$X = 1$」といえば済むということがあります。

ディープラーニング

　先日、とある研究会に出席したら、基調講演で「ディープ・ラーニング」というのを紹介されました。ディープ・ラーニングとは、多層ニューラルネットワークをベースにした機械学習のことです。ニューラルネットワークは脳の情報処理過程をモデル化して、ニューロンという神経細胞に対応した素子を多数結合した構造を作っておき、入出力関係からニューロン間の結合係数を決めていく学習アルゴリズムです。画像認識とか、音声認識の分野で、ディープ・ラーニングを使った方法が他の方法を駆逐する勢いで、高い性能を示しているといいます。
　ニューラルネットワークは、パーセプトロンに代わる手法としてもてはやされ、そして廃れました。ずっと、ニューラルネットワーク「冬の時代」が続いたのです。しかし、それが今、再び脚光を浴びるに至っています。その理由は、よくわからりませんでした。考えられることとして、3つあります。(1) ニューラルネットワークで問題だった過学習を層ごとのプレトレーニングを行って克服する、(2) 誤差逆伝搬法（バック・プロパゲーション）の膨大な計算量を、計算機能力の向上で克服できる、(3) 学習係数、ネットワーク構造などのパラメータを決めるノウハウ（「黒魔術」と呼ばれるらしい）が確立してきた、といったものです。
　基調講演では、今取り組んでいる認識問題に、「取りあえず、ディープ・ラーニングを適用してみてはどうか」と主張していました。何か、ブレークスルーがあるのでは？と期待が大きいようです。

ビッグデータ

　先日、とある学会の講演会「ビッグデータが拓く新しい情報通信の世界」～サイバーとリアルの間を取り持つデータ同化技術を中心として～を聴いてきました。講師は樋口知之先生で、なかなか面白いお話でした。2時間、あっという間でした。
　昨今、ビッグデータ大ブームですが、それはどこから始まったのか、漠然としか理解していませんでした。講演の中で3つのレポートが紹介され、大ブームの火付け役として大きな役割を果たしていると述べておられました。一つは、The Fourth Paradigm: Data-Intensive Scientific Discovery。データから深い知識が獲得できるか問うています。二つ目は、MGI report。ビッグデータは、イノベーション、競争、生産性においてKeyになると説いています。そして、三つ目は、アメリカがビッグデータ関連の研究に$200 millionという巨額投資をするという通達です。
　樋口先生の指摘で面白かったことは、日本の産業は「いつまでも”プロジェクトX”の感傷に浸っていては世界から取り残される」というものです。「玄人しかできない代物を造るのではなく、データを使って素人でもできる仕組みを作れ」と説いていました。確かに、日本では後者の視点が欠落しているように思います。