Pythonでできることって、まあいろいろあるんですけど、とりあえず代表的な3つを紹介します。 ①エクセル業務の自動化 → 自動でエクセルレポートを作る ②画像認識 →パソコンに写る自分の顔を認識する事例を紹介 ③データの可視化 → データを取り込んで、グラフ…
2017年4月からデータ分析のキャリアをスタートさせ、そこからPythonという言語を勉強しました。 そのときは他のプログラミング言語もほとんど経験がなく、ゼロから勉強せねばという立場でした。 配属されたチームリーダーの方（その人ことを今でも尊敬してい…
「今年、仕事をしてきて感じたことは何か」と考えたときに、一番に思い立ったことを書いてみます。 突然ですが。 仕事では、特定の目的のために新しい出会いやコミュニケーションがたくさん発生します。そのような中で仕事ができる人間になる、あるいはより…
統計学的な手法で仮説の検証を行う際に登場する基礎的な概念に「ｐ値」があります。医薬品の臨床研究、心理学の研究、社会学の研究、生物学の基礎研究など、ばらつきのある母集団からサンプルを取って解析するあらゆる研究分野において、このｐ値を用いた検…
第1次AIブームの収束と第2次AIブームのきっかけ 第１次AIブームはおおよそ1950年代から1960年代まで続きました。この時代は本日のPCの先行者である汎用コンピュータが登場することで、主に「探索」と「推論」に関するやや大胆で野心的な研究が進展しまし、そ…
筆者は「超優しいデータサイエンスシリーズ」などのAIや機械学習の知識に関して書くことが多いです。日頃、社会人・学生・新入社員の研修を担当させていく中で、今度は人材育成に関してもう少し大枠的な考察をしていきたいと思います。 就活生、新入社員、営…
可視化・プレゼンで見落とされること データ可視化のパッケージやBIツールが普及し、様々な分野でビジネスアナリティクスに活用されています。数値データをもとに、プレゼンテーションやその先の意思決定に有効な図を簡単に作ることができます。出力されるデ…
こんにちは！ 分析官のMです。 日々の業務でデータ分析を担当されている方は、 クライアントや他部署から新しくデータを受領して、整形や分析をする機会が多々あるかと思います。 データ受領後はレコード数・カラム数を確認した後に、 各カラムの分布や要約…
以前の記事では、ディープラーニングを機械学習の手法の一つとして紹介しました。 従来の機械学習では、高い精度の予測モデルを構築できるためには、人間がかなりの労力をかけて、データの前加工と特徴量エンジニアリングを行う必要があることを伝えました。…
【優しいデータサイエンス・シリーズ】では、AIと機械学習の定義や枠組みについて論じました。この記事ではもう１つよく耳にする関連用語「ディープラーニング」の正しい理解をお伝えします。 以前、人工知能は、ルールベースの手法と機械学習の手法に分ける…
以前の記事では、AIの定義とAIのレベルについて論じました。 gri-blog.hatenablog.com 続いて、AIと深く関連する概念を整理しましょう。 AIと機械学習の関係性 機械学習とディープラーニングの関係 これらの本質を正しく理解することが、人工知能の歴史や技…
こんにちは！ 分析官のMです。 最近、Cloud SDKを用いてGCS上のcsvファイルをBigQueryのテーブルとしてインポートする機会があったのですが、 思いのほか手こずってしまい、解決に1日ほど費やしてしまいました... 本記事では、Cloud SDK初心者の私が主にどこ…
データ可視化の意義 データを分析するプロセスの中で、データを可視化することが重要なステップの１つです。 可視化するというのは、分析対象のデータに対してグラフ、プロットを作ることです。 なぜ、可視化するかというと、「見える化」することによって、…
データサイエンスの活用があらゆる業界で加速されている今、人工知能、機械学習、ディープラーニングなどのブームワードをよく聞きます。皆さんはそれぞれの用語の正しい定義をご自身の言葉で説明できますでしょうか？ この記事は、まず人工知能にまつわる重…
元々、Tableau prepを使っていて、最近prepのUpdateをしたので、古いバージョンで作成したフローを、新しいバージョンのprepで実行したいとします。その時出来上がったHyperの中身が、全く同じかどうかを確認したいとします。カラム数は数百あるとします。 …
Tableauでチャートの作り方がわからなくて困ったことがありますよね。 そんな時に、役に立つ解決法をお教えしようと思います。（今回はインターネット上にあるHPを検索すること以外の方法をお伝えしようと思います。） 1. Tableau Publicで検索する まず、チ…
今回は、Radial Bar Chartを作ってみます。 Radial Bar Chartは、値の大きさを放射状の線の長さで表現します。 一番長い放射線を基準として、相対的な値の差を表現することができます。 値が横並びのチャートに比べて、値の比較は難しくなりますが、棒グラフ…
機械学習の分類問題で、不均衡データを扱う場合の対処法の一つにダウンサンプリングがあります。今回は、Tableau Prepでのダウンサンプリングの実装方法をご紹介します。利点としては、Tableau Prepで機械学習のための一枚表を作る流れの延長上で、手軽にダ…
tableauをいじっていると、どうしてもここがしっくりいかないという点が細々とでてきます。そこで今月つかったりWEBで探したテクニックを3つだけに絞ってご紹介したいと思います。 TIPS１「列のカラムを上部に表示したい」 データをどの形式で見せるか悩まし…
◆はじめにIT業界で仕事をしていると「UI/UX」という言葉をよく聞きます。「UI/UX？あー、デザイナーさんの仕事ね」そう通り過ぎること多いですよね？ 一方、皆さんは仕事でこんな物作っていたりすると思います。 営業資料、プレゼン資料、サービス・システム…
PythonとUnityの連携の必然性 AI開発ではPythonがデファクト・スタンダードになっている。典型的なものとして 画像解析 動画解析 音声解析 自然言語処理 感情推定 物体認識 姿勢推定 ゲーム開発ではUnityが、とてもよく使われている。プログラミングが分から…
3秒で知りたい方へ、結論はこちら 社会人をやっていると1度や2度はあると思うんです。エレベーターで乗り合わせた部長に急に、「ForecastFlow」とは何であって、何かいいのか秒で言ってくれと問い詰められることが。しかも部長は短気。そんなこと無いかもし…
こんにちは！ 分析官のMです。 最近、業務でHIRAMEKI XDというマーケティングプラットフォームに触れる機会がありました。 HIRAMEKI XDにはwebサイトのアクセスログをユーザーに紐付けて収集・整理することができるXD.LOGSTORAGEという機能があります。 保存…
MIT Technology Reviewの記事で、海外で「龍が如く」の「ばかみたい」をDeepFakeで画像から勝手に口パクさせるのが流行ってるとのことで、Kapwing Appさんのチュートリアルにしたがって、やってみました。 できたもの Baka Mitai/Dame Da Neつくってみた こ…
コロナ下の影響でウェブ会議の回数が増えていると思います。PCのスペックや通信環境によっては相手の声が聞き取りづらく、相手の音声が字幕で出すことができればいいのにと思う人も多いのではないでしょうか？今回は簡単にリアル音声字幕変換を行なってみま…
データ活用プロジェクトでAIモデルを短期間で構築するタスクを、どのように規定すべきか？この観点が、新入社員や転職してきた人は、抜けていることが多いです。プロとして研究やデータサイエンス業務を続けるには、モデル構築の計画立案スキルは身に付けな…
人を惹きつけるグラフを作るための配色について解説してみます。 グラフを見てもらう 人を惹きつけるグラフを考える前に、忙しい人は「１秒以内に最初の決断をする」という事実を知る必要があります。時間をかけてデータをグラフにしても、あなたの苦労とは…
この記事について Tableau Desktop Certified Associateは、Tableau認定のTableau Desktopの資格で、難易度が中級のものです。 つい先日(2020/08/29)、私もこの試験を合格し、資格を取得することができました。本記事では、その経験を踏まえ、これからこの試…
この記事について 先進的な企業では、機械学習（AI）をビジネスの現場で利用し、他と差をつけています。 今回は、機械学習のビジネス利用に興味があるが、機械学習で何が具体的にできるのか分からない企業様・個人様向けに、機械学習のサービス解約抑止への…
こんにちは！分析官のMです。 今回私はTableauが主催するデータビジュアライゼーションコンテストである、IronViz2020に参戦しました。本記事では自分が・どのような思考でダッシュボードを作成したか？・どのような点にこだわったか？についてまとめました…
