===== GPT-2 =====
GPT-2 については、下記記事が一番分かりやすいと思う。
  * 2021-09-28 | [[https://note.com/npaka/n/nbfd4f4c09abf|図解 GPT-2]]

=== モデル ===

^gpt2-xl-japanese|https://huggingface.co/nlp-waseda/gpt2-xl-japanese|This is Japanese GPT2 with approximately　1.5B parameters pretrained on Japanese Wikipedia and CC-100 The model architecture of the model are based on Radford+ 2019.|

  * 2022-12-15 | [[https://zenn.dev/schnell/articles/0eba71dc364b7f|パラメタ数1.5Bのgpt2-XLを学習した話]]
  * 2021-08-25 | [[https://ledge.ai/rinna-gpt-2-bert/|rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習]]

=== やってみた ===
  * 2023-02-16 | [[https://qiita.com/suzuki_sh/items/be70fa15b03affa0c103|PyTorch 2.0 Nightly版でGPT日本語文章生成してみた]]
  * 2023-01-30 | [[https://jaykmody.com/blog/gpt-from-scratch/|GPT in 60 Lines of NumPy]]
  * 2023-01-22 | [[https://zenn.dev/robes/articles/24ee45dd81636a|【自然言語処理】日本語GPT-2モデルをファインチューニングして文章生成をやってみる]]
  * 2022-12-15 | [[https://qiita.com/Yu_unI1/items/4a47f01c6f7ea471db07|[自然言語処理][GPT2]GPT2で日本語文章生成]]
  * 2022-12-13 | [[https://qiita.com/RyoWakabayashi/items/6a780c2858ec952fa1e1|Livebook で Bumblebee から GPT2 を使って文章の続きを生成する]]
  * 2022-09-09 | [[https://qiita.com/kojix2/items/9d7e1b51a101c121f8ee|Rubyで文章生成AI「GPT-2」を実行して遊んでみた]]
  * 2022-07-08 | [[https://developer.mamezou-tech.com/blogs/2022/07/08/gpt-2-japanese/|自然言語処理初心者が「GPT2-japanese」で遊んでみた]]
  * 2022-04-22 | [[https://qiita.com/probabilityhill/items/ff4ff7cf7e3871bc9430|【GPT-2, Twitter API】平沢進氏のツイートを学習して文章生成してみた]]
  * 2022-02-23 | [[https://data-analytics.fun/2022/02/23/gpt-1b/|13億パラメータ日本語GPT-2を使ってみる]]
  * 2022-01-30 | [[https://qiita.com/shiba_inu_/items/7afaba624cc9217f33e1|日本語GPT-2を強化学習(Policy Gradient)でfine-tuningする]]
  * 2021-10-09 | [[https://github.com/xbarusui/study_gpt2-japanese_V2|study_gpt2-japanese_V2]] - ご自分の作品の text を読み込ませることで創作作家 AI を作り、文章生成を試すことができます
  * 2021-09-20 | [[https://qiita.com/Katsumata420/items/077de5d968eb7d600d36|日本語GPT-2を使って「小説家になろう」に掲載されていそうなタイトルを生成してみた]]
  * 2021-08-25 | [[https://qiita.com/m__k/items/36875fedf8ad1842b729|GPT-2をファインチューニングしてニュース記事のタイトルを条件付きで生成してみた。]]
  * 2021-08-23 | [[https://self-development.info/%E3%80%90python%E3%80%91gpt-2%E3%81%A7%E6%97%A5%E6%9C%AC%E8%AA%9E%E6%96%87%E7%AB%A0%E3%82%92%E8%87%AA%E5%8B%95%E3%81%A7%E7%94%9F%E6%88%90%E3%81%99%E3%82%8B/|【Python】GPT-2で日本語文章を自動で生成する]]


=== 記事 ===
  * 2023-02-27 | [[https://zenn.dev/arklet/articles/5a0a0b31ba212f|【GPT徹底解説】#2 教師ありデータはもう必要ない!GPT-2登場 ~ChatGPT凄さの根源~]]
  * 2021-08-27 | (動画) [[https://www.youtube.com/watch?v=3BUk7mtf10M|【深層学習】GPT-2 - 大規模言語モデルの可能性を見せ、社会もざわつかせたモデルの仕組み【ディープラーニングの世界vol.33】#113 #VRアカデミア #DeepLearning]]
  * 2021-07-29 | [[http://boundbaw.com/world-topics/articles/136|言語モデルと綴る、実在しない二◯二一年七月日記]]
  * 2021-05-16 | (動画) [[https://www.youtube.com/watch?v=TOaKJbWpTUk|りんな GPT-2 の fine tuningをGoogle Colabの無料枠で試す方法]]
  * 2021-02-03 | [[https://tech.stockmark.co.jp/blog/gpt2_ja/|GPT-2におけるテキスト生成]]
  * 2020-12-11 | [[https://qiita.com/Afo_guard_enthusiast/items/07d196aeaba366e30ab4|日本語学習済みのGPT-2 pretrained modelを使って、入力文に続いて、どんな文章が生成されるのかを眺めてみた]]
  * 2020-11-10 | [[https://note.com/npaka/n/n50cec2c7150e|gpt2-japanese の mediumモデル による日本語テキスト生成]]
  * 2020-08-05 | [[https://techable.jp/archives/133620|ロボットの書いた演劇が2021年1月に初演！]] - techable
    * GPT-2にシナリオを書かせるそうだ。日本の人工知能創作小説のときもそうだったが、人間がかなり手を加えないと難しい気がする。少なくとも「面白い」と感じる台本をGPT-2に書かせるのは無理なのでは。
  * 2019-11-11 | [[http://karapaia.com/archives/52284492.html|悪用されたらヤバイ！専門家が危険視する文章生成AI(人工知能)の完全版がリリースされる]]
  * 2019-11-06 | [[https://gigazine.net/news/20191106-gpt-2-final-model-release/|「危険すぎる」と話題の文章生成AI「GPT-2」の最新版がリリース、実際に使えるデモサイトも登場]]
  * 2019-08-23 | [[https://cocon-corporation.com/cocontoco/gpt-2-language-model/|危険すぎると話題の文章生成モデル「GPT-2」で会社紹介文を生成してみました]]
  * 2019-08-22 | [[https://clean-copy-of-onenote.hatenablog.com/entry/gpt-2-774M|文章を自動生成する GPT-2 の 774M モデルを使ってみる]]