〜画像認識技術の進化を実感〜CNNの歴史Part2

Part1ではCNN(畳み込みニューラルネットワーク)の仕組みとその画像認識分野におけるデビューについて話した後に、LeNet、AlexNet、VGG、GoogleNetなどいくつかの歴史的に有名なCNNモデルについて紹介してきました。 gri-blog.hatenablog.com このPart2では…

〜画像認識技術の進化を実感〜CNNの歴史Part1

いきなり雑談ですが、機械学習の分野では「最高精度」の意味で使われる言葉の1つが” State of the Art”であり、その略語がSoTAであることを最近知りました。 さて、先日はディープラーニング技術の近年の課題について書きました。 自然言語モデルの最近の課…

MatillionでBigQueryのテーブルをGoogle Cloud Storage (GCS) に出力する方法

どうも、最近荒野行動をやっていて、開始早々に射線を確保しているスナイパーを発見、「スナイパーは、懐に入られると、弱い...ッ!!」と丸腰で果敢にインファイトを仕掛けるも、近接戦闘も得意とするタイプだったらしく、見事返り討ちに遭いボコボコにされ…

Matillion for BigQueryで日付ごとに分割された複数テーブルを読み込む方法

どうも、最近道を歩いていたら、バイクシェアのポートでとても困った感じでスマホをいじっている外国人の方を発見、(ふっ、しゃあねえな)と思いつつ「Can I help you?」と尋ねたら「いや、それがね、普通は返却ボタン押したらメール来るじゃないですか、な…

MatillionでBigQueryのunnestされたデータを扱う方法

どうも、最近家に帰ったら、弟がファンタジーアニメーションに出てくる魔法使いよろしく、鍋で丸太のような豚骨を煮込み自家製ラーメンを作っていた、分析官の岡部です。(レシピはこちら) 本記事はMatillion for BigQueryのTipsです。 BigQueryユーザーの…

Matillionでジョブ実行当日/前日の日付を変数として指定する方法

どうも、最近「自分、まだいけます!やらせてください!」と健気に奮闘する液晶バキバキの愛機(iPhone7)から、新たな愛機(iPhone SE)に乗り換え、「見ろ、世界はこんなにも鮮明だ」と画面越しにこの世の美しさを再認識するとともに、2度と旧愛機のような…

Matillionでテーブル出力する方法(Big Query)

どうも、最近、電子レンジ・IHヒーター・電気ポット・オーブンをフル稼働させ「こいつら全てを操って並列処理で料理してる俺、魔術師」と悦に浸っていたら、ブレーカーが落ちてしまった、分析官の岡部です。 データサイエンスで並列処理といえば 大規模デー…

決定木系アルゴリズムはなぜ特徴量同士の四則演算を明示的に入れる必要があるか(実験編)

どうも、最近SmartnewsでAIのニュースばかり見ていたら、歌手のAIさんの記事がレコメンドされてきた分析官の岡部です。 この記事では、決定木系アルゴリズムを使用するとき、 特徴量同士の四則演算が有用となるケースがあることを、 簡単な実験で確認しまし…

ベイジアンABテストにおける事前分布のパラメータ設定

こんにちは! データサイエンティストの望月です。 以前、別記事にてベイジアンABテストをご紹介しましたが、 その際、事前分布の設定についてあまり触れていなかったので、 本記事ではその点をもう少し掘り下げていきたいと思います。 事前分布とは? ベー…

Google Compute EngineのVMインスタンスで、自らの起動と停止もするcronのようなことをしたい

レンタルサーバでcronを設定するみたいなことをやりたいとき、マシンの起動と停止をこまめにやったら安くなるのにと思ったことはないでしょうか。これはGCPでは、自動で出来ます。VMインスタンスを自動起動し、処理のキックはスタートアップスクリプトに書い…

データ分析官の自己紹介(自分自身、目標や課題について)

新卒3年目の可視化系の分析官の寺内です。 自分が就活生だったとき、働くということ、データ分析という仕事、弊社のこと、何も分かっていなかったと、今は思います。 そこで、就活生の皆さんの就職活動の役に立つように、自分自身のことを紹介する記事を書き…

【Tableau初心者向け】jsonデータの分析の入門

新卒3年目の可視化分析官の寺内です。 json形式のデータを分析したいと思うこと、ありますよね。 例えば、APIのレスポンスデータなどはjson形式のことも多いです。 そんな時にも、Tableauが使えます。面倒な前処理も必要なく、基本的には簡単です。 ただ、少…

「迷路を解く」粘菌モデルの可能性

有用性が認められ、日々進化しているディープラーニングはヒトの脳のニューロンが形作る神経回路網をイメージして作られました。このように生物の行動、生理現象を数理的に再現しようという研究は数多くあります。今回はその中でも私が興味深いと思った”粘菌…

『データ分析人材になる。 目指すは「ビジネストランスレーター」』を読んで

遅ればせながら、 『データ分析人材になる。 目指すは「ビジネストランスレーター」』 木田 浩理 (著), 伊藤 豪 (著), 高階 勇人 (著), 山田 紘史 (著) データ分析人材になる。 目指すは「ビジネストランスレーター」 | 木田 浩理, 伊藤 豪, 高階 勇人, 山田…

要因分析におけるグラフの選択方法 1

新卒入社3年目の寺内と申します。 私は、データ可視化系の案件を担当する分析官です。 データ可視化をしたことがある人であれば、テーマがあった時、どんなグラフを選択するか悩むことはあると思います。 そこで、自分含めた同じような悩みを持つ人が、より…

Matillionの新しい価格体系

ELTツールのMatillionですが、新しい価格体系となりました。 詳細は公式をご確認いただきたいのですが、ここでは、主なポイントをお伝えします。 今までの価格体系の制約を緩和 今までは、インスタンス・サイズに多くのものが紐付きすぎていた ユーザ数 環境…

データ可視化の3要素

新卒入社3年目の寺内と申します。 私は、データ可視化系の案件を担当する分析官です。 新卒1年目の方のデータ可視化の教育に携わっており、独り立ちしていただくためにはどういう教育が必要か?と、考えたりしています。そこで、 データ可視化系の業務で独り…

pythonから踏み台サーバを経由したデータベースへの接続

データベースをpythonで操作したい。直接繋げるのは簡単ですが、セキュリティ上踏み台サーバを経由するケースも多々あると思います 今回はpythonのsshtunnelを使い、踏み台サーバ経由でDatabaseの実行をしたいと思います DatabaseはMySQL, 操作ツールはSQLAl…

Excel表をTableauで再現する6

前回の続きです。これで完成。 作り方目次(と必要な機能) セル結合(グループの作成):Excel表をTableauで再現する1 - GRI Blog 本部計・全社計(合計の追加、階層の作成):Excel表をTableauで再現する2 - GRI Blog 見た目を寄せる(書式設定) 部分的な太…

Excel表をTableauで再現する5

前回の続きです。 作り方目次(と必要な機能) セル結合(グループの作成):Excel表をTableauで再現する1 - GRI Blog 本部計・全社計(合計の追加、階層の作成):Excel表をTableauで再現する2 - GRI Blog 見た目を寄せる(書式設定) 部分的な太字(書式設定…

Excel表をTableauで再現する4

前回の続きです。 作り方目次(と必要な機能) セル結合(グループの作成):Excel表をTableauで再現する1 - GRI Blog 本部計・全社計(合計の追加、階層の作成):Excel表をTableauで再現する2 - GRI Blog 見た目を寄せる(書式設定) 部分的な太字(書式設定…

Excel表をTableauで再現する3

これを作ります。 Tableauで作った表 作り方目次(と必要な機能) セル結合(グループの作成):Excel表をTableauで再現する1 - GRI Blog 本部計・全社計(合計の追加、階層の作成):Excel表をTableauで再現する2 - GRI Blog 見た目を寄せる(書式設定) 部分…

Excel表をTableauで再現する2

これを作ります。 Tableauで作った表 作り方目次(と必要な機能) セル結合(グループの作成):Excel表をTableauで再現する1 - GRI Blog 本部計・全社計(合計の追加、階層の作成)→本記事 見た目を寄せる(書式設定) 部分的な太字(書式設定) 部分的な縦…

Excel表をTableauで再現する1

エクセルの表をそっくりそのままTableauで作ってくれないか、という相談を受けました。 そういうのもあるのか…と思ったので方法をまとめてみました。 エクセル管理から抜け出したいが、表がうまく作れないからいまいちTableauに体重を預けにくい、という人の…

ミュージックビデオからのポーズ推定

www.youtube.com 皆さんは、「このダンスを踊りたい!」と思ったとき、どのように習得しているでしょうか。 私は一昨年のハロウィンの時期、友人と USJ に行った際に上記のダンスを身につける必要に駆られました。夜になると急にゾンビたちが現れてこの Rat-…

価値ある仕事について

新社会人の方々は、ゴールデンウィークが明け、少しずつ実戦投入されはじめ、色んな戸惑いが出始めると思いますが、上手くいくための仕事に対する基本的な考え方を共有しておきます。 仕事は依頼者と作業者の関係が成り立ちます。良い作業者になるためには、…

PV動画の顔方向検出について

PV動画で顔方向検出のプログラムを作る機会がありました。調べてみると様々な回答があり面白いと感じましたが、今回のモデルではPV画像への転用ということで自分の考えを取り入れてプログラムを作成しました。結果は完璧とは程遠いものになってしまいました…

【5分講義・自然言語処理#2】機械翻訳システムの内部に迫る

機械翻訳システムを使うこと(というよりもその結果を観察すること)はかなり楽しいと思いませんか。機械翻訳は自然言語処理の代表的な用途の1つであり、また自然言語処理の技術の進化にモチベーションを与えた存在でもあります。この記事ではこれまでに開…

【5分講義・自然言語処理#1】自然言語モデルの最近の課題

当初はウェブ記事のカテゴリ分けや機械翻訳といったもののために開発された「言語モデル」は、今では、文章や楽譜やソースコードまで生成できるまで技術が様々な課題を乗り越えて進化してきました。(※ここでいう言語モデルとは、「どれだけ自然な文脈を実現…

Tableauで任意のピクセル幅の線を引く

久しぶりに、AerosmithのDraw The Lineを聴きながら書いております。 youtu.be 5 Types of Dashboardsという有名なブログポストがあり、かつてこのワークブックをダウンロードして参考に真似しながら、オリジナルバージョンを作ったことがあります。その時、…