データの分析における、たった1つの重要なイベント（実務者向け） - ネガティブにデータサイエンティストでもないブログ

2年ほど前、私の仕事場に医療会社の社長が血相を変えて駆け込んできました。かつて私がシステムを設計したことがある会社の社長でした。すぐさま現状のヒアリングと現地調査が行われ、問題を発見しようと直ちにデータ分析が行われることになりました。業務上の横領や不正経理の疑いがあったためです。私がやった分析はシステムから作為的なデータ入力のパターンを見つけることでした。やり方には少々コツがありますが1週間もかからずに結果は得られました。横領の証拠こそありませんでしたが、請求額と支払先に一定のパターンが見つけられたので、従業員の中で組織的に不正が行われていて、一部の社員らによる経費の水増し請求が常習化していたことがわかりました。まったくひどい話ですが過去数年間には会計監査が何度も行われているというのに何もわかっていなかったのです。こうなる前に早期の対処ができたかもしれない機会が何度もあったのに。その後、この会社は粛々と正していきました。なぜか離職率も下がったそうです。

みなさん、珍しい例ではありません。残念ながらどこででもありえます。

Hadoopでデータを取り込んで集計し、Rで推論したり、EXCELで検定し、あれこれとデータ分析をしても、このようなことには気づけません。別にツールが悪いわけじゃありません。そういう問題を設定していないものはわからないのが当たり前です。では逆に問題を事前に想定し、折り込めたでしょうか。効率化を目的にしているのだから未来の例外コストにそこまで支払っておけないでしょう。そうでありながら、このような問題に迅速に取り組めたのはなぜでしょうか。

私はデータ分析が嫌いなわけじゃありません。たまに大学や勉強会で教えてますし、こうした技術も利用しています。

しかし、ここで言いたいことは、顧客と会話をして、現場に触れて、データ分析以外のことも行っておく必要があるということです。より良いデータ分析がしたいのならば。身に付けるべきスキル（といっても定かではありません）として特定のニッチな技術を偏重し、顧客とのふれあいを省略すると、場合によってはもっと重要な、改善可能な問題を見過ごしてしまうだけではなく、もっと大切な「イベント」が失われてしまうのです。「イベント」は分析者と顧客の関係に変化をおこし、より強力にする力をもっています。

今後10年間におけるもっとも重要な分析ツールがあるとするなら、私は依然として人間のことだと思っています。見て、聞いて、嗅いで、味わって、触れて、集めて、記録して、話して、考える、そして実験し、成果を向上させることができる。

ビッグデータに代表される膨大なデータ収集から大量に調べられるようになったのはごく近年のことです。ご存知のとおり、ほんの少しだけ昔、社会システムをIT化するブームがありました。その後、WEB2.0のようにバージョン番号つければ新しく見えるという不思議なブームを経て、金融危機、バブル崩壊、世界情勢、少子高齢化、漠然とした危機感と期待感に煽られつつ、業務効率化とコミュニケーションコスト低減の流れが加速しました。

その流れの中では、そもそも問題はなんなのか、あったとしたらそれはどういった施策で、どのような結果がありえるのか、実際のところ、あまり調べてから実行されることはありませんでした。実施した後の検証などもっと行われませんでした。なので感覚的に物事を決めることは「エイヤッ」と呼ばれました。たいして分析も計画もされずに作り上げられたエイヤッなシステムのほうが圧倒的に多かったのです。エイヤッを肯定するために、問題領域の近い専門家や御用学者の意見、ITロードマップXXXX年版―情報通信技術はX年後こう変わる！に代表されるNRIやガートナーとかが言うから仕方がないよ的な風潮に後押しされ、そして、それが大好きな政府や経営者らによって、巨額のシステム投資と遠大なシステム構築が行われました。

こうして業務効率は、当たれば向上し、はずれれば低下しました。管理業務のための管理ソフトによる管理コストの増加などはなつかしい思い出です。そして必要とされるか替えが効かなければ生き残るシステムになります。逆に必要とされなければどんなに良い設計であれ優れた実装であってもシステムは淘汰されていきました。さらに市場のパイが増えていく中では人材不足という感覚は定常化します。いつも誰かが何かに不足し飢えています。それは情報過多と競争と不満足の裏返しですが、にもかかわらず、システムの検証やフィードバックを行われることは多くありませんでした。

しかしご存知の方もいるでしょう。SIerやSIベンダーという意味は顧客の業務内容を分析し、問題に合わせた情報システムの企画、構築、運用などの業務を一括して請け負う業者のことです。ゆえにデータサイエンティストはこれらのサブセットであり、焼き直しだと思う人がいるかもしれません。私もそうです。とはいえシステムインテグレータの登場は分析の転換期を象徴するものでした。

私は最近、あるデータサイエンティスト？な人間の集まる会議で批判を受けました。「ユーザは、もはやデータに過ぎなくなった」と言ったからです。データ分析、データサイエンティストなどがポジショントークであれなんであれ注目を浴びる一方、顧客はよくも悪くも素直にこう思います。

「一体なにを（理解できないこと）やってんの？」

「いつになったら僕のところに説明にくるの？」

「担当者は誰？」

私は一流の分析者の定義が、顧客と我々エンジニアの間で、かけ離れたものになっていることを懸念しています。最近では分析の様子はこうです。議論は顧客から遠く離れた開発室で行われ、議論の中心はパソコン上の可視化イメージとデータのみ。不可欠な要素である顧客が、ユーザーが、解決したい対象への理解が、抜け落ちかけている気がしてなりません。

私が影響を受けた2つのエピソードをご紹介したいと思います。

その1つは、地方病院の話です。この病院は経営状況の悪化と非効率な業務、コスト体質に悩んでいました。どのような施策を打てば良いのか。院長は国内では大手のコンサルティング会社に依頼しました。しかし半年後に私が挨拶に訪れてみるとコンサルティングを打ち切り、地元の小さなSIerと業務システム改善に乗り出していたのです。

私は驚いて院長に聞いてみました。

「なぜここでシステム改善をすることにしたの？」

院長はためらいながらも言いました。

「大手コンサルティング会社はよかったよ。本社も立派だったし、担当者も優秀だった。都内で良い経営している病院に連れていってくれる親切な方もいたよ。」

「でもね。一度も（出張して）病院を見に来てくれなかったんだ。」

現地を見る必要さえなかったと言えなくもありません。病院の経営データは遠隔で分析され、彼の病院を見る必要さえなかったわけです。けれど院長にとってはコンサルティングを諦めるくらい重要な要素でした。そして地元のSIerは病院内に開発室を設けてじっくりと分析して開発しているようです。実際には単なる常駐かもしれません。コストも相当かかっているでしょう。しかし院長はこうした手厚いケアを求めていたのです。院長が診察しているのと同じように。合理的ではない判断だと思いましたが、それが人間の判断でもあると私は大いに影響を受けました。余談ですが最初の医療会社の社長はこの地元SIerのことです。地方ながら都会の中堅ITベンチャーより利益を出していたり、上述のような大変な目にもあっています。

もう1つ、影響を受けた経験をお話しましょう。まだ20代の頃です。当時、私は少しだけ書籍やメディア、社内で注目されていて（今では廃れたシステムなので割愛）の第一人者という評判をもっていました。けれどあまり好ましい評判ではありません。というのも、なにせその技術は完全ではなく、それを自分自身が信用していないので不安でたまらないのです。扱っていた技術自体は当時の最先端計算技術ではあるのですが、たいていの案件は、他の業者から見放され、業務では苦い経験をし、私の所に来る頃にはもう解決などできないと期待していない顧客によるものでした。

こうした案件に最初に遭遇したとき、一辺倒で自分の得意なソリューションを提案しても、まったく相手にされませんでした。そして私も情報も自信も足りていないと思いました。実際、データ分析プログラムの問題でもなく、もっと初歩的なシステム構造の問題であったり、データ収集の仕組みであったり、組織構造の問題であったりと、全く当時の自分のスキルは役に立たないことが分かりました。だから諦めて実験することにしました。ヒアリングでは、全ての時間を使って顧客に当事者意識と問題の状態を語ってもらうのです。中断せずじっと聞くことにしました。普通のSIでは時間内に要件を定義しようと努めるのが一般的でしたが、私は何度もミーティングをして存分に語ってもらいました。正直いうと他にする事が無かっただけです。そしてさらに数倍のコストをかけて現地に入り浸って調査もしました。コストは高いのですが私だけだったので理解のある上司にも許してもらえました。分析して提案するのは調査が完全に終わってからでした。私が語るターンでは、いつもおしゃべりな顧客にも、静かに聞いてもらえました。そこで顧客と私はなにかITやWEBではない原始的なイベントを行っているという感覚になりました。私には役割があり、そして顧客にも役割があるのだと。その後、私は離れましたが、顧客には満足してもらえたようで今では取引は数倍になっているそうです。

現代のSI、分析の業務にはこのような視点が欠けています。流行りのデータサイエンティスト本やビッグデータ本などに、このような視点がまったく見当たらないのは少し残念です。これはコミュニケーション能力のことではありません。データを集める以前に、なぜ、問題をもっと明らかに、現地で調査したり、当事者に話を聞かないのでしょうか。データを読めば済む問題ではありません。しかしデータをよく読むために必要なことです。データを読み解くには、問題への当事者意識や理解の積み重ねが、分析者と顧客の双方に必要なのです。

そして私は顧客に分析した内容と改善提案を説明します。といっても、こんなものは他の分析者でも同じことが言える程度の内容にすぎないのです。けれども私の顧客が、存在しないマルチなスキルと深さを併せ持った超データサイエンティストや、どんどん利益を増やしていける超グロースハッカーや、前人未踏スーパークリエーターを探すことをやめて、私と改善のプロセスを歩み始めてくれるとしたら、それは改善施策を説明するに必要な信頼を築いたからだと思うのです。業務を通したイベントの積み重ねによって何か重要なものが生まれたのだと思います。

例えば会社では新人歓迎会をやったりします。か弱い個人から組織の一員としての出発をお祝いしているわけです。これは過去の慰労ではなく未来への変化を知らせるシグナルなのです。会社も個人もさまざまなシグナルを発信します。会社なら繰り返される会議や飲み会だけでなく、入社、退職、休暇、株主総会、役員会、引越し、結婚、出産、組織変更、トラブル、障害、メンテナンス、契約、監査・・・・きりがないほどに。だからイベントはとても大事なものです。私は綺麗に見せたり悪く見せたりな財務指標よりもイベントを分析するほうが経営体質を詳細に把握できるとさえ思っています。

ある人が、とある人を訪れ、家族や役員には言いたくないことを伝え、驚くべきことに、隠された問題や秘密を話し、機密データを触らせる。それには、こうした顧客とのイベントの蓄積がとても重要なのです。セキュリティやリスクのために、情報を隠されたり、暗号化されたデータのまま分析したり、データを出し惜しみしたり、データの採取方法や、そのデータの意味を教えてもらえなかったり、こうしたイベントを省略すると、顧客と分析者の関係をつなぐ機会を失うことになるのです。分析は、たいていは当たり前だったり、ろくな結果は得られません。けれど翌日もまた同じ事を少しだけうまく行おうとするしかないのです。知識を急速に増大させ、ビッグデータを踏破しつくし、無関心に陥らないように。データが重要だというのなら、データに残らないものこそ大事にしなければならないのです。

だから、データから問題を見つけるためではなく、ビッグデータから探すこととは関係なく、分析者が顧客に繰り返し伝えなければならないメッセージがあります。お互いがそれをわかりあうイベントの積み重ねが重要なのです。すべてを円滑によりよい結果と満足に導くために。

「私はいつもあなたをサポートします。決して見捨てません。一緒にやり遂げましょう。」

どうもありがとうございました。

労働の二極化に抵抗する、捨てるを捨てないという1つの選択肢（実務者向け）

http://negative.hateblo.jp/entry/2013/09/02/202445

待ちぼうけ二部作の前半。重苦しい問題提起編です。文句ばっかりです。

労働の二極化に抵抗する、上級者への簡単な道～とあるカキ氷屋の統計技師（データサイエンティスト）

http://negative.hateblo.jp/entry/2013/09/03/200255

待ちぼうけ二部作の後半。問題解決めざして超展開します。カキ氷、大好きです。

本記事は

エイブラハム・バルギーズ：医師の手が持つ力

http://www.ted.com/talks/lang/ja/abraham_verghese_a_doctor_s_touch.html

のリスペクトです。magnificentと激賞したいプレゼンテーションです。私の実感や体験とかなり近いと勝手に思い込んでしまった（←いい迷惑）ので思わず真似てしまいました。私ごときの実体験で置き換えたりしてごめんなさい。テレビを見逃して和訳など聞き間違えて理解したところもあるかもしれません。それもごめんなさいね。