===== 言語モデル =====
=== 言語モデルとは ===

言語表現に対する確率分布のこと。任意の言語表現を入力すると、その表現がその言語でどの程度自然か、あるいはよく見かけるかを確率の形で出力する。
最近では[[言語モデル:BERT]]や[[言語モデル:gpt:gpt-3]]などの大規模で多用途な言語モデルに対して**基盤モデル**と呼ぶこともあるが、この用語はまだ普及しているとまでは言えない。

=== 言語モデル(個別ページ) ===
  * [[言語モデル:bag_of_words]] / [[言語モデル:n-gram]] / [[言語モデル:rnn]] / [[言語モデル:lstm]] / [[言語モデル:seq2seq]]
  * [[言語モデル:transformer]] / [[言語モデル:reformer]] / [[言語モデル:t5]] / [[言語モデル:switch_transformer]]
  * [[言語モデル:gpt:gpt-2]] / [[言語モデル:gpt:gpt-3]]
  * [[言語モデル:bert]] / [[言語モデル:ernie]] / [[言語モデル:sentence-bert]] / [[言語モデル:albert]]
  * [[言語モデル:glam]]　/ [[言語モデル:mt-nlg]]

=== まとめ・比較 ===
  * 2023-06-13 | [[https://zenn.dev/fusic/articles/try-various-llms|色々な大規模言語モデルを試してみる]]
  * 2023-06-02 | [[https://blog.brainpad.co.jp/entry/2023/06/02/163008|大規模言語モデル(LLM)のエンジン：データセットの解説]]
  * 2023-04-25 | [[https://note.com/mahlab/n/na71a267a16dc|大規模言語モデル間の性能比較まとめ]]
  * 2023-04-09 | [[https://qiita.com/suzuki_sh/items/4193ec903c3bc3859c76|GPT-3.5世代のオープンな言語モデルを調べてみた]]
  * 2023-04-03 | [[https://qiita.com/sonesuke/items/2ccc38045ee67bb3e1ae|【GPT】大規模言語モデルまとめ]]
  * 2023-03-16 | [[https://note.com/npaka/n/n00e5c66b6c18|最近話題になった大規模言語モデルまとめ]]
  * 2022-08-08 | [[https://zenn.dev/akimen/articles/8d818ca704f079|自然言語処理 -spaCy & GiNZA モデル比較-]] -- エンティティ抽出は ja_ginza_electra、軽量なら ja_ginzaがいいのでは
  * 2022-08-04 | [[https://note.com/it_navi/n/nceba60ff196c|人工知能による自然言語処理（日本語の言語モデル開発の現状）]]
  * 2022-03-28 | [[https://qiita.com/artisanbaggio/items/2feed4d473b340489a7a|歴代の自然言語処理モデルのスコア推移]]
  * 2022-01-14 | [[https://qiita.com/arakiry/items/989e2037237377493ba3|もうモデル選びには迷わない!? 言語モデルを簡単に比較する手法について]]
  * 2021-10-18 | [[https://zenn.dev/hellorusk/articles/ddee520a5e4318|フリーで使える日本語の主な大規模言語モデルまとめ]]

=== データセット ===
  * 2023-04-03 | [[https://note.com/npaka/n/n686d987adfb1|大規模言語モデルのデータセットまとめ]]

=== AIカニバリズム問題 ===
  * 2023-06-21 | [[https://www.itmedia.co.jp/news/articles/2306/21/news059.html|生成AIに“生成AIが作った文章”を学習させ続けるとどうなる？　「役立たずになる」と英国チームが報告]]

=== 作る ===
  * 2023-07-03 | [[https://qiita.com/taka_yayoi/items/ce4179b9b829365714b7|無料のDatabricks Community Editionを使って大規模言語モデルを体験してみる]]
  * 2023-06-29 | [[https://zenn.dev/turing_motors/articles/04c1328bf6095a|大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編]]
  * 2023-05-31 | [[https://gigazine.net/news/20230531-lit-parrot/|独自のデータセットでGPTのような大規模言語モデルを簡単にファインチューニングできるライブラリ「Lit-Parrot」をGoogle Cloud Platformで使ってみた]]
  * 2023-04-24 | [[https://note.com/mahlab/n/n15969add8558|大規模言語モデルを自社でトレーニング＆活用する方法]]

=== 開発環境 ===
  * 2023-06-21 | [[https://blog.brainpad.co.jp/entry/2023/06/21/153039|大規模自然言語モデル(LLM)をお試し利用できるツールを作ってみた]]
  * 2023-03-31 | [[https://qiita.com/riversun/items/3e67ef5ef4df4da75ee4|LLM 基盤モデルアトラス　～大規模言語モデルと個人開発者～]]
  * 2023-03-18 | [[https://zenn.dev/microsoft/articles/3438cf410cc0b5|OpenAI 言語モデルごとのエンコーディング一覧]]
  * 2023-02-27 | [[https://note.com/eurekachan/n/n80b361b1c0d1|LLM（大規模言語モデル）のmodulesを見るにはstr(model.moludes)]]

=== 可視化 ===
  * 2022-02-04 | (動画) [[https://www.youtube.com/watch?v=7E5PXM1Y7TU|【NLP Hacks vol.1】eccoによる言語モデルの可視化]]

=== 軽量化 ===
  * 2022-05-13 | (スライド) [[https://speakerdeck.com/misawann/large-language-model-pruning-using-textpruner|TextPruner による大規模言語モデルの軽量化 / Large language model pruning using TextPruner]]

=== 記事 ===
  * 2023-07-06 | [[https://www.docswell.com/s/KanHatakeyama/ZEN8V6-2023-07-06-110038|数値で整理する大規模言語モデル(LLM) のメモ]]
  * 2023-06-23 | [[https://speakerdeck.com/hariby/aws-dev-day-2023-evolution-of-llm-since-gpt|大規模言語モデル (LLM) の進化: GPT 以降の最新動向]]
  * 2023-06-14 | [[https://ainow.ai/2023/06/14/273829/|大規模AIモデルの時代は終わった]]
  * 2023-06-21 | [[https://thinkit.co.jp/article/22168|大規模言語モデルの概要]]
  * 2023-06-08 | [[https://speakerdeck.com/ae14watanabe/look-inside-large-language-models|大規模言語モデルの中身を覗いてみよう / look inside Large Language Models
]]
  * 2023-06-06 | [[https://nlpillustration.tech/?p=5201|【一撃でわかる】大規模言語モデル(LLM)入門！基礎からわかりやすく徹底解説。]]
  * 2023-04-21 | [[https://qiita.com/Dataiku/items/98bc30cec68b3db9c911|ChatGPTの要素技術である大規模言語モデルとは?]]
  * 2022-12-19 | [[https://qiita.com/wwwcojp/items/c7f43c5f964b8db8a890|大規模言語モデルと外部リソースとを融合させたアプリケーションを作ろう－langchainのご紹介－]]
  * 2022-07-28 | [[https://www.intellilink.co.jp/column/ai/2022/072800.aspx|世界で開発が進む大規模言語モデルとは（後編）～日本語に特化した汎用的な大規模言語モデルの紹介～]]
  * 2022-07-20 | [[https://newsrelea.se/7rXPk3|日本語に特化した大規模言語モデルがもたらすAIサービスの進化]]
  * 2022-07-05 | [[http://blog.livedoor.jp/tak_tak0/archives/52441122.html|大規模言語モデルの創発能力]]
  * 2022-05-12 | [[https://japan.zdnet.com/article/35186620/|AI言語モデルは今--精度の進化、倫理、管理のあり方]]
  * 2022-05-10 | [[https://coralcap.co/2022/05/how-llms-can-transform-businesses/|平均的な人間の能力を超えた―、常識や知識を獲得した大規模言語モデルが開く新ビジネス領域]]
  * 2021-12-15 | [[https://www.axion.zone/deepmind-language-model/|DeepMind、言語モデルの大規模化は引き続き効果的と判断]]
  * 2021-11-25 | [[https://yhayato1320.hatenablog.com/entry/2021/11/25/101808|【自然言語処理】言語モデル]]
  * 2021-11-22 | [[https://analyticsindiamag.com/language-models-2021/|Top Language Models Released In 2021]]
  * 2021-04-09 | (スライド) [[https://speakerdeck.com/karakurist/nlp-survey|BERT後の自然言語処理についてのサーベイ]]
  * 2021-03-02 | [[https://www.yurui-deep-learning.com/2021/03/02/hugging-face-japanese/|自然言語処理が簡単にできるhugging faceで日本語の言語モデルを作成]]
  * 2020-12-21 | [[https://e4exp.hatenablog.com/entry/2020/12/21/114905|言語モデルでEOSを予測すると汎化性能悪化するらしい]]
  * 2020-11-25 | [[https://linecorp.com/ja/pr/news/ja/2020/3508|LINE、NAVERと共同で、世界初、日本語に特化した超巨大言語モデルを開発　新規開発不要で、対話や翻訳などさまざまな日本語AIの生成を可能に]]
  * 2020-10-29 | [[https://www.cis.twcu.ac.jp/~asakawa/2019cnps_handson/supp10_nlp_sota/|2018 年から 2019 年にかけて人間超えした自然言語処理モデル]]
  * 2020-10-11 | [[https://medium.com/programming-soda/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E6%80%A7%E8%83%BD%E3%81%8C-%E5%AE%9F%E8%A3%85%E3%81%AB%E3%82%88%E3%82%8A%E7%95%B0%E3%81%AA%E3%82%8B%E4%BB%B6%E3%82%92%E8%A7%A3%E6%B1%BA%E3%81%99%E3%82%8B-5d36c841fcac|言語モデルの性能が、実装により異なる件を解決する]]
  * 2020-09-28 | [[https://qiita.com//5ena/items/250c99dcd5b67ed33051|【初心者向け】自然言語処理界隈を盛り上げるアルゴリズム・モデルまとめ]] - [[言語モデル:bert]], [[:transformer-xl]], [[:xlnet]], [[言語モデル:roberta]], [[言語モデル:albert]], [[言語モデル:t5]], [[言語モデル:ernie]], [[言語モデル:reformer]]
  * 2020-08-19 | [[https://gigazine.net/news/20200819-google-bert-language-agnostic-sentence-embedding/|Googleが「知らない言語」も翻訳処理ができてしまう言語モデル「LaBSE」を発表]]
  * 2020-08-18 | [[https://aru47.hatenablog.com/entry/2020/08/18/175711|RNNからTransformerまでの歴史を辿る ～DNNを使ったNLPを浅く広く勉強～]]
  * 2020-08-01 | [[https://www.axion.zone/can-language-models-learn-morality/|言語モデルは倫理を学習できるか？]] - Axion
  * 2020-04-15 | (動画) [[https://www.youtube.com/watch?v=BnpB3GrpsfM|L11 Language Models -- guest instructor: Alec Radford (OpenAI) --- Deep Unsupervised Learning SP20]] - A quick history of language models - [[企業:openai]]
  * 2020-03-13 | [[https://ai-scholar.tech/articles/treatise/electra-ai-382|「ELECTRA」新たな自然言語処理モデルが示したMLMの問題点とは！？]]
  * 2020-01-09 | [[https://www.ai-shift.co.jp/techblog/183|うわっ…私の言語モデル、古すぎ…？]]