以前の記事では、自然言語処理における事前学習と転移学習、そして、そのための手法としてBERTとGPTを紹介しました。 gri-blog.hatenablog.com gri-blog.hatenablog.com 上記の記事で説明したように、GPT系列の中で、特に最新のGPT-3は、「人間らしい」文章…

前回、自然言語処理における事前学習と転移学習に関して、以下のように書きました。 【10分講義・自然言語処理#3】事前学習と転移学習・そしてBERTも - GRI Blog 最新の事前学習モデルとして、OpenAI*1が開発したGPT（Generative Pre-Training）系列のモデル…

本記事ではまず「事前学習モデル」を紹介し、自然言語処理における代表的な手法の１つであるBERTを詳しく解説していきます。後続の記事では最新のGPT-nモデルについても紹介していきます。 ■まず、事前学習とは ディープラーニングにおける事前学習モデル（p…

機械翻訳システムを使うこと（というよりもその結果を観察すること）はかなり楽しいと思いませんか。機械翻訳は自然言語処理の代表的な用途の１つであり、また自然言語処理の技術の進化にモチベーションを与えた存在でもあります。この記事ではこれまでに開…