Tableau Desktopでプライマリキーを確認する方法
こんにちは！ 分析官のMです。
先日公開した記事では、
データ受領時のプライマリキー(PK)確認の重要性についてまとめさせていただきました。
https://gri-blog.hatenablog.com/entry/2020/12/09/124246
私自身、データからPKを確認する際、PythonやRを使うこともありますが、 基本的にはTableauを使うことが多いです。
Tableauを用いるメリットとしては、
・最低限の計算式記述のみでPK確認が可能
・重複があった場合、そのレコードの特定や閲覧がしやすい
・PK確認と同時に各カラムの分布等も同一ダッシュボードで確認できる
などがあります。
本記事ではTableauの公式サイトからダウンロードできるサンプルデータを用いて、Tableau上でのPK確認方法をご共有します。
https://public.tableau.com/ja-jp/s/resources
1つのカラムでデータのレコードが一意に定まると想定できる場合
まずはタイタニックの乗客リスト(titanic passenger list.csv)のPKを確認していきます。
カラムの1つに"name"というカラムがあり、そこには乗客者氏名が入っているようなので、PKは"name"であると想定できます。
PKが"name"であるかどうかを確認するために、Tableau上で"nameのユニークカウント"と"データのレコード数"が一致しているかどうかを検証していきます。
検証の流れは以下の通りです。
1. "name"をユニークカウントする計算式を作成
※ここでは"ユニーク乗客数"という名前にしています。
2. "メジャーネーム"をフィルター欄上にドラッグ&ドロップ
3. "titanic passenger list.csv のカウント"と"ユニーク乗客数"にチェックを入れて"OK"をクリック
4. ワークシート上部の行欄に"メジャーネーム"、マーク欄の"テキスト"の上で"メジャーバリュー"をドラッグ&ドロップ
集計結果は以下の通りです。
"titanic passenger list.csv のカウント(データのレコード数)"が1309であるのに対し、"ユニーク乗客数"が1307と数値が一致していません。
これは"name"だけではレコードが一意に定まらない(="name"が重複しているレコードが存在している)ことを示しています。
実際にどのレコードで重複が発生しているかを確かめるにはFIXED関数を使った計算式を用いる方法が有効です。
計算式は以下の通りです。
簡単に説明するとこの計算式は
「"name"ごとに1を足す」
つまり
「乗客者氏名ごとにレコード数を集計する」
といった意味合いになります。
仮にPKが"name"であれば、1乗客者氏名に対し1レコードという関係が成立するので、集計結果はすべて1になります。
そうでない場合は、集計結果に2以上の整数も入り、それらの氏名が重複しているということになります。
集計結果は以下の通りです。
全1309レコードの内、1305レコードは"PK確認"の値が1(=1乗客者氏名に対し1レコード)となっていますが、
残りの4レコードは"PK確認"の値が2(=1乗客者氏名に対し2レコード)となっています。
さらに、数字の部分を右クリックし、"データの表示"をクリックすると対象データの中身を確認することもできます。
これをみると"Connolly, Miss. Kate"さんと"Kelly, Mr. James"さんのレコードが重複していることが確認できます。
ここから重複している原因を特定するのはむずかしいですが、いずれにせよこのようなログがあるということを念頭に置いて分析をすすめるのが好ましいです。
複数のカラムでデータのレコードが一意に定まると想定できる場合
次はアメリカで人気の新生児名リスト(TopBabyNamesbyState.csv)のPKを確認していきます。
Tableauの公式サイト上では、このデータは「1910~2012年の各年で最も人気のある男児名と女児名を州別に示したデータ」と書かれているため、
複合PKは"year","state","gender"であると想定できます。
これを先ほど紹介したFIXED関数を用いた方法で確認していきます。
計算式は以下の通りで、FIXEDの後に複合PKだと思われるカラムをカンマ区切りで記載しています。
簡単に説明するとこの計算式は
「"year","state","gender"の組み合わせごとに1を足す」
つまり
「年×州×性別ごとにレコード数を集計する」
といった意味合いになります。
集計結果は以下の通りです。
今度は全10506レコードの内、すべてのレコードで"PK確認"の値が1、
つまり年・州・性別ごとにレコードが一意に定まることが確認できます。
さいごに
データ分析において、正しい数値を出力するということは当然のことですがとても重要なことです。 データ整形ミスを減らすためにも、PKを確認する習慣をつけることを一分析官として強くお勧めします！
Pythonでできること代表3つを動画で見よ
はじめてPython入門書は絶対これ！！ごちゃごちゃ言わずこれを読め！！
2017年4月からデータ分析のキャリアをスタートさせ、そこからPythonという言語を勉強しました。 そのときは他のプログラミング言語もほとんど経験がなく、ゼロから勉強せねばという立場でした。
配属されたチームリーダーの方（その人ことを今でも尊敬しています！）から、おススメされたのが以下の本でした。
本当に基本的なところ（for文とかif文とか）から、簡単なサイトを作成したり、 何よりもよかったのが機械学習についても分かりやすく解説されていたのがデータ分析の仕事をする上では最高でした。
この本を読んでは写経してを2回繰り替えすと、Pythonが本当に楽しくなって、Djangoというフレームワークを使って簡単なサイトまで作成しました。 プログラミングって楽しいんだなと初めて実感したのもPythonでした。 一度Javaとか勉強したんですが挫折しましたね。
プログラミングに苦手意識があるけど、でも挑戦してみたい！という方はぜひこの本を読んでみてくださいね～ 自信がついたらGRIで一緒に働きましょう！！
GRI 酒井
気配りをするために必要な気づく力
「今年、仕事をしてきて感じたことは何か」と考えたときに、一番に思い立ったことを書いてみます。
突然ですが。
仕事では、特定の目的のために新しい出会いやコミュニケーションがたくさん発生します。そのような中で仕事ができる人間になる、あるいはより楽しく仕事をするには、他人から好かれる必要があります。人との関わり方や好かれ方は、性格やキャラクターによって様々ですが、好かれるために大切なことの一つとして、物事や他人に対する気配り（気遣い）できる人間力があると感じています。
気配りができているかどうかは、様々なシーンにおいて小さな単位で表れます。資料、議事録の中や人との会話、メール文の中、飲食店や会議を抑えるときなど… そして気配りをするためには、気づく力が必要です。必要なことに気づけないと気を配るという行動が生まれません。例えば、取引先の方との懇親会で飲食店を抑えるとき、以下のような気づきとそれに対する気配りが挙げられるかと思います。
・お酒を飲めない方がいるかもしれない
（→お酒以外も用意）
・自分は吸わないがたばこを定期的に吸われる方がいるかもしれない
（→喫煙所がある）
・取り分けが多く発生する料理（コース）だとスムーズさにかけ気を使わすかもしれない
（→あらかじめ取り分けてある料理）
・悪天候の場合、移動に苦労するかもしれない
（→駅からアクセスが悪くない）
・移動に電車ではなく、クルマを使う方がいるかもしれない
（→駐車場が近くにある）
…
…
他人からの小さな気配りを感じ取った人は、些細ながら好感を持ちます。このような小さな気配りが好感に変わることを積み重ねていくことで、好かれることにつながっていくのだと思います。
しかしすぐに気づく力が身に着けるのは難しいことです。気づく力を磨くためには、柔軟な発想ができる必要であり、少し働いたくらいではなかなか磨かれないと思います。ですが、つね日ごろから色々な物事を柔軟に発想してみようとトライし続けることで、いつの間にか気を配るために気づく力が磨かれるのだと思います。
この気配りをするために気づく力、そのために柔軟な発想ができることは、未来の目的に対しておこなう行為です。これは、仕事を作るや事業を作るために、いま何をすべきか気づける、発想できることにも通ずるのではないかと感じています。
以上。
（著 上野 開）
統計学におけるp値の取扱注意
統計学的な手法で仮説の検証を行う際に登場する基礎的な概念に「ｐ値」があります。医薬品の臨床研究、心理学の研究、社会学の研究、生物学の基礎研究など、ばらつきのある母集団からサンプルを取って解析するあらゆる研究分野において、このｐ値を用いた検定は基本的なデータ解析法として広く使われています。
2016年に、アメリカの統計学会がｐ値についての誤解や誤用が深刻であるとの声明を出しました。それ以前から、ｐ値を用いることの妥当性について統計学者を中心に論争が続いていたが、このアメリカ統計学会の声明は、大きなインパクトを与えました。日本国内においても、統計的検定法を正しく理解して使用しようとする動きがあり、正しい理解を広めようとする書籍が出てきています。しかし、その内容が、ｐ検定を活用している人に十分理解されているとは言えないのが現状です。
ｐ値の妥当性についての議論が盛んになる中で、このｐ値を用いた検定そのものを全面禁止にすべきという、やや過激な主張もあるくらいです。もちろん、可能な限りの厳密性を求める科学研究では、そのような議論を行い、よりよい統計手法を探求していくことは重要です。しかし、厳密性だけでなく、I/O比やスピードが求められるビジネス領域では、p値を使ったものも含めて、統計学的検定は、依然として便利なツールの一つです。
ビジネスにおける統計検定の厳密性
マーケティングのビジネスの分野などで用いる検定は、厳密性や理論の妥当性が求められるアカデミックな学術研究とは異なり、必ずしも厳密である必要がない場合もあります。ここで取り上げたいのは”探索的”なデータ解析、”探索的”な統計分析などと呼ばれる良く使われるものです。科学研究では、世の中で起こっている現象の原理を理解し、それを一般化した法則を得ることが目的であるため、論文の審査などでは、統計学的な厳密性が求められます。一方、マーケティングの分野においては、厳密な一般法則を得ることよりも、次のアクションにつながる仮説やシナリオを抽出することを目的に行われることが多いです。そのため、検定結果は”研究成果”ではなく、アクションを決めるための”判断材料”として解釈されます。
とはいえ、統計学を活用する上では、アカデミックな領域で、統計学的検定のどういう点が問題視され、どういう対策が進められているかを知っておくことは重要です。それは、我々が”探索的”に用いている検定法が、どのような点で厳密ではなく、どのような限界があるのか知ることにつながるからです。
P値にまつわる誤解
「P値とは何か、説明してください」
即答できますか？統計学を理論的にしっかり学んでいる人はともかく、統計学をハウツー本などで習得した人や、理論は学生時代に軽く学んだ程度でその後は専ら検定を”使う”ことが中心であった人は、改めて聞かれると、うまく答えられない方もいます。そして、誤った理解をしている方も一定数います。
よくある間違いとしては、「仮説が正しい確率」、あるいは、「データが偶然のみで得られた確率」というものです。効果の大小や結果の重要性を意味する、という解釈も正しくありません。p値の正しい説明とは、「仮定している特定の統計モデルのもとで、帰無仮説が真である場合に、得られたデータと同等か、それよりも極端な値を取る確率」です。統計学の理論構成上、どうしてもこのような回りくどい表現になってしまうのである。統計学についての基礎的なない人にとっては理解が難しく、そのため、誤解や誤用が起きやすくなります。
ｐ値はより簡単に言うと、得られたデータが、設定した統計モデルに合致するか、矛盾するかの程度を示す指標の一つにすぎず、仮説が正しい証拠ではないのである。言い換えると、十分条件ではなく、必要条件に過ぎないのです。それを物語るように、ｐ値に基づいて有意であると結論を下している学術論文の多くは、実際には再現性がないことが知られています。
サンプル数が多くなるほど、ｐ値は小さくなりやすいです。数学的にそうなります。しかし、サンプル数は、実験者が決めてしまう、検証しようとしている仮説の中身とは無関係な値では無いでしょうか。そして、サンプル数をどんどん増やしていくと、ｐ値が小さくなっていき、いずれ、有意水準として実験者が任意に設定した値を下回ります。有意水準には、よく0.05が用いられるが、これも理論的な根拠があるわけではありません。この有意水準を下回ると、「帰無仮説は棄却された」として、あたかも仮説が証明されたかのように解釈してしまうのは危険です。しかし、あくまでも、仮定している特定の仮説の下で、データがそのモデルにどれくらい整合しているかを示すものにすぎず、帰無仮説が真である場合に、今回得られたデータと同等のデータ、あるいは、それ以上に極端なデータが得られる確率が5%未満である、というだけです。言い換えると、帰無仮説が真であるにも関わらず、そのようなデータが得られる可能性があります。
データ分析で良くある間違い
我々のように、大量のデータから有用な知見を抽出しようとする際に行いがちなことは、以下のようなことがあります。
３つ以上の水準があり、そのうち２つの水準での検定を繰り返し、有意性がある組み合わせを探す、
複数の属性でデータ収集を行い、それぞれ属性で検定を繰り返し、有意性がある属性を探す
目的変数が複数ある場合、それぞれの目的変数で検定を繰り返し、有意性がある目的変数を探す
このように、データに対して複数回の検定を行ってしまうと、「多重性の問題」と呼ばれる問題が発生します。これは、帰無仮説が真であるにも関わらず、すなわち、たまたま極端なデータが得られただけであるのに、帰無仮説を棄却してしまい、有意性ありと判断してしまう誤り（第1種の誤りという）を犯す確率が、その検定の回数が増えるほど大きくなってしまう問題です。仮にp値を0.05とすると、１回の検定であれば、第1種の誤りを犯す確率は5%であるが、１０回検定を行うと、この確率は1-(0.95)10=0.40と40%にもなってしまいます。
多重性の問題に対する補正法が知られており、そのような手法がとられることもあるが、マーケティングなどの”探索的”なデータ解析では、有意性の判断がそれなりの確率で誤っている可能性があることを承知した上で行うことも多い。得られた検定結果から、すぐにビジネス上のアクションにつなげるか、より厳密なデータ取得＆検定を行って、厳密な方法で仮説を検証してから実行に移すかは、I/O比やビジネス動向に基づいて決めることであり、統計学はこれには答えてくれません。
もう一つｐ値を用いた検定で起こしやすい誤りとして、データを取得しながら随時検定を行い、データ数を増やしていき、有意差が見られた時点でデータ取得を止めて報告することです。これも、上記の多重性問題があり、第1種の誤りを起こしている可能性があります。検定ごとに、ある確率で第1種の誤りを犯すのであるから、検定を繰り返していけば、たまたま有意になってしまうこともあります。
統計学を習得すると、膨大なデータから知見を抽出できた達成感から、ついついその根拠をｐ値に基づいて議論したくなります。しかし、統計学的な根拠を全面に出しすぎると、ｐ値否定派の過激派(?)の攻撃を受けてしまうかもしれません。厳密な検定は、実験計画の段階でサンプルの数や取得方法を決定し、データ取得から解析まで、綿密な計画に基づかないと、思わぬミスを起こしてしまいます。手持ちのビッグデータをとりあえず解析してみる、あるいは、まずはデータを取ってみて、得られたサンプルから知見を探る、といった場合には、この厳密性が損なわれてしまう可能性が大きいと言うことを覚悟しましょう。実は、データを見てから仮説を構築し、それを「仮説を検証しました」と報告することは、HARKing (Hypothesizing After the Results are Known)として、科学における不正行為の1種とされています。”探索的”な解析をしたのであれば、そのような解析であることを明示しなくてはなりません。ｐ値を用いた検定の問題点や注意点を理解しつつ、場合によっては厳密性には欠けることを承知で、あくまでも検定は補助的に活用したという立場をとることで、思わぬ地雷を踏むことを避けるのが賢いです。
参考文献：『統計学が最強の学問である[実践編]』、ダイヤモンド社、西内啓
担当者：ヤン・ジャクリン（分析官・講師）
【超優しいデータサイエンス・シリーズ】AIに愛着を抱く心理とは？（エキスパートシステムとELIZA）
第1次AIブームの収束と第2次AIブームのきっかけ
第１次AIブームはおおよそ1950年代から1960年代まで続きました。この時代は本日のPCの先行者である汎用コンピュータが登場することで、主に「探索」と「推論」に関するやや大胆で野心的な研究が進展しまし、その研究対象として、パズル、迷路、チェスなどの明確かつ狭いルールに基づいたゲームが取り上げらました。これらのゲームにおいてAIは探索を通じて自分に有利な手を見いだし、可能の限り効率よくゴールにたどり着くことを目指します。この時代のAIは、特定の問題に対して解を提示できるようになったことで、一時的に大きな注目を浴びました。例えば東西冷戦下のアメリカでは、英語とロシア語の機械翻訳に活躍しました。一方で、現実の世界の複雑な問題に関しては、そう上手くいきません。探索をすればするほど、実行可能な手の組み合わせは爆発的に増加していくため、現実的な時間の中で最適解を見出すことが困難です。結局、探索・推論を行うこの時期のAIが出せる成果はかなり限界があり、「おもちゃ」に過ぎないという見解になり、第一次AIブームは鎮火しました。1970年代初めにAI研究は冬の時代を迎えました。現実の世界にある複雑な問題を解決できないことは後続の章で取り上げる「トイ・プロブレム」（おもちゃの問題）と呼びます。
第１次AIブームの問題点を解決すべく、早速その後、現実の問題に役に立つようなAIの実現に向けた研究がなされはじめました。第２次AIブームを代表するAI技術は、エキスパートシステムです。基本的にエキスパートシステムとは、以下のような仕組みです。
探索・推論のための単純なルールだけを用いた第１次AIブームが終わってしまった後に、今度は現実の問題に役に立つようなAIの実現に向けた研究がなされはじめました。第２次AIブームを代表するAI技術は、エキスパートシステムです。エキスパートシステムが開発されたことにより、1970年代から1980年代にかけて、人工知能は再び活気を取り戻しました。基本的にエキスパートシステムとは、以下のような仕組みです。
専門家（=エキスパート）の知識を大量にコンピュータに蓄積します。コンピュータがその分野に関する質問をされた際に知識データベースから答えを抽出して、あったかも人間の専門家のように返答します。このように現実の複雑な問題をAIに解かせようとします。これは以前の記事で取り上げたルールベースのAIそのものです。
エキスパートシステムを詳しく見ていきましょう
エキスパートシステムは実際どのように応用されていたのでしょうか？
ELIZA
もちろん専門知識を大量に詰め込んでも、人間の持つ量の知識からほぼ遠いです。1960年代では、本格的なエキスパートシステムが普及する前に、あくまでも人間のような「知性」を持つように見せかけているシステムが巧みに作られました。その有名な例はELIZAです。 ELIZA（イライザ）は、1964年に開発された対話システムであり、本日でもチャットボットの「祖先」として有名です。ELIZAはテキストデータを人間とやり取りを行うことで、ユーザーには、コンピュータと対話しているように感じさせます。
対話は以下のようなイメージです。
「体調が良くない」と投げ掛ければ、
ELIZAは、
「なぜ体調が良くないのですか？」
「他にどんな問題がありますか？」
などのようなことを返信します。
また、「他のトピックを話しましょうか」のように会話を単に展開させるための単純なルールも仕込まれており、それらをランダムに出力していました。 しかも、人間が「わけわからないことを言わないで！」とイライラすると、コンピュータは「なぜわけわかならないことだと思いますか？」まで口答えできます。このように、特に知識と呼べるものを出力させていたわけではなく、シンプルなルールに基づいて、相手がこういう用語を入力した場合、必ずこう返す、の動作を続けていただけです。実際は、相手の言葉を「対話マニュアル」と照合し、ルールマッチングで返答しています。
図1 はELIZAの実際に行ったやり取りです。今では、私たちはチャットボットや、さらに音声案内板やAIスピーカーなど、コンピュータがあったかも人間のように振る舞うシステムと毎日のように出会います。現在の私たちが慣れているチャットボットのUIに比べて当時のELIZAの対話の様子はだいぶ無機質に思えます。それでも、当時の人々は「人間の知識を持っているように見えるコンピュータ」から大きなインパクトを受けていました。
ELIZAは、現代の音声会話システム（チャットボット、スマートスピーカー）やオンライン心理セラピストの開発に顕著な影響を及ぼしたことで大きな成果と言えるでしょう。
図の翻訳は以下となります。設定としては、ある女性が心理士の役を務めるELIZAに対話で相談しています。
ELIZA: 「何か困っていることがありますか？」
YOU:「男は皆同じだ」
ELIZA「何が原因と思いますか？」
YOU:「常に何らか面倒をかけてくる」
ELIZA「具体例を思いつきますか？」
YOU:「例えば、私の彼氏が私をここに来させた」
ELIZA「あなたの彼氏がここに来させたことは重要ですか？」
YOU: 「彼曰く、私はいつも落ち込んでいる」
ELIZA「いつも落ち込んでいて、お気の毒ですね」
YOU:「本当だよ。私は不幸せだ」
ELIZA「なぜ不幸せなのか説明できますか？」
エキスパートシステムの本格的な普及
ELIZAのような対話だけできるシステムが台頭してからしばらくして、実世界で専門家の代わりに知識を提供して活躍できる、本当の意味でのエキスパートシステムが開発されました。
例えば、医療の分野で、医者の代わりに診断できるAIを作る場合は、病気に関する膨大な量の知識をコンピュータに蓄積します。そうすると過去の診察から得られたカルテの情報に基づいて医者のように診察ができます。あるいは、弁護士の代わりになるAIを作る場合は、法律に関する膨大な量の知識をコンピュータに蓄積します。そうすると、過去の判例に従って物事を判断できるようになります。
非常に有名な例は、1970年スタンフォード大学で開発された、感染症の専門医の代わりに診察を行うMYCINです。専門医の経験則に基づいたおよそ500個のルールが用意されており、質疑応答を通じて得られた情報、例えば細菌の形、痛みの程度などから、感染した細菌を特定し、それに適した抗生物質を処方することができます。MYCINの診断の精度は69%程度でした。それは細菌感染を専門としていない医者より精度が高いけど、専門医のおよそ80%には劣りました。それでも当時そのようなシステムが実現されていたことは絶賛すべきではないでしょうか。医療分野では、他に、緑内障の診断支援システムのCASNETや、腎臓の秒にの診断支援を行うPIPが挙げられます。
もう一つとても有名な例は、有機化合物の分子構造を推定するプログラムDENDRALです。こちらはエキスパートシステムの研究者のエドワード・ファイゲンバウム氏によって開発されました。質量分析法で分析したデータを活用して、未知の有機化合物を特定します。
上記では、医学・生物学に関する例を紹介したが、他には生産、会計、金融などの分野においてもエキスパートシステムが作られました。実は、1980年代には、米国の大企業の３分の2が何らかの形でエキスパートシステムを使用していました。この時期、日本でも政府によって「第五世代コンピュータ」と名付けられた大型プロジェクトが推進されました。ここからでも第２次AIブームの熱が伺えますね。
#### 【コラム】AIへの愛着
当時は、どこかフェイクな相手と会話していると意識しながらも、ELIZAとの対話に夢中になる人々がいました。単純なルールに基づいた言葉遊びのようなやり取りでも、そこに「知性」を感じてしまう人間の心理が興味深いです。同様な現象として、Siriなどの音声でやり取りできるスマートスピーカーが発売された当時は、Siriに向かって「愛しています」と話す人がいるとか、お掃除ロボットに愛着を感じるとか、の例が挙げられます。一方で、これは相手が本当の人間ではないとどこか意識しているからこそ、AIが失敗した際も怒るどころか喜ぶのではないでしょうか。相手が本当の人間の場合は、おそらく掃除さえできない、訳のわからない言葉ばっかり発する、現象に対しては相当ストレスを感じて嫌気をさしてしまう人もいるでしょう。
担当者：ヤン・ジャクリン（分析官・講師）
