自然言語処理の餅屋

https://www.jnlp.org/

ユーザ用ツール

サイト用ツール

現在位置: 自然言語処理の餅屋 » 言語モデル » Transformer
言語モデル:transformer

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン		前のリビジョン
言語モデル:transformer [2023/01/29 16:56] – admin言語モデル:transformer [2023/06/26 17:57] (現在) – admin
行 4: 行 4:
     * [[:attention]]のみを用いたモデルで、再帰も畳み込みも一切使わない。     * [[:attention]]のみを用いたモデルで、再帰も畳み込みも一切使わない。
     * 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。     * 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。
-    * [[BERT]]、[[:xlnet]]、[[GPT-2]]などのモデルのベースとなっている。+    * [[BERT]]、[[:xlnet]]、[[.gpt:gpt-2]]などのモデルのベースとなっている。
   * encoder + decoder で構成されている。   * encoder + decoder で構成されている。
-    * このうちの encoder部分だけ取り出したのが[[BERT]]、decoder部分だけ取り出したのが[[GPT-2]]などのGPT。+    * このうちの encoder部分だけ取り出したのが[[BERT]]、decoder部分だけ取り出したのが[[.gpt:gpt-2]]などのGPT。
  
 === Huggingface Transformersとは === === Huggingface Transformersとは ===
行 16: 行 16:
 === チュートリアル === === チュートリアル ===
   * 2021-10-30 | [[https://huggingface.co/course/chapter1|Transformer models]] - 本家のチュートリアル   * 2021-10-30 | [[https://huggingface.co/course/chapter1|Transformer models]] - 本家のチュートリアル
 +  * 2020-09-04 | [[https://note.com/npaka/n/n5bb043191cc9|Huggingface Transformers 入門 (1) - 事始め]]
  
 === 高速化 === === 高速化 ===
行 21: 行 22:
  
 === やってみた === === やってみた ===
 +  * 2023-03-22 | [[https://tech.gmogshd.com/transformer/|Transformerをゼロから実装する]]
 +  * 2023-02-16 | [[https://eng-blog.iij.ad.jp/archives/17980|Hugging Face Pipelineを使ったお手軽AIプログラミング]]
   * 2022-10-12 | [[https://speakerdeck.com/upura/introduction-of-japanese-text-generation-with-transformers|実践：日本語文章生成　Transformers ライブラリで学ぶ実装の守破離]]   * 2022-10-12 | [[https://speakerdeck.com/upura/introduction-of-japanese-text-generation-with-transformers|実践：日本語文章生成　Transformers ライブラリで学ぶ実装の守破離]]
   * 2022-09-08 | [[https://tt-tsukumochi.com/archives/3897|【🔰Huggingface Transformers入門①】 パイプラインによるタスク紹介]]   * 2022-09-08 | [[https://tt-tsukumochi.com/archives/3897|【🔰Huggingface Transformers入門①】 パイプラインによるタスク紹介]]
  
 === 記事 === === 記事 ===
 +  * 2023-06-25 | (動画) [[https://www.youtube.com/watch?v=InwY8PqDHco|【BERTによる自然言語処理入門#5】Transformer]]
 +  * 2023-04-07 | [[https://nlpillustration.tech/?p=185|【図解】Attentionとは？わかりやすく、そして深く解説｜自然言語処理(NLP)]]
 +  * 2023-03-27 | [[https://isobe324649.hatenablog.com/entry/2023/03/27/064121|GPTの仕組みと限界についての考察（2.1）]]
 +  * 2023-02-21 | [[https://qiita.com/taka_yayoi/items/69edceb96139ada695e4|Databricks、Delta、トランスフォーマーを用いた迅速なNLP開発]]
 +  * 2023-02-14 | [[https://zenn.dev/zenkigen/articles/2023-01-shimizu|30分で完全理解するTransformerの世界]]
   * 2023-01-24 | [[https://yhayato1320.hatenablog.com/entry/2023/01/24/163747|【自然言語処理】Transformer #まとめ編]]   * 2023-01-24 | [[https://yhayato1320.hatenablog.com/entry/2023/01/24/163747|【自然言語処理】Transformer #まとめ編]]
   * 2023-01-23 | [[https://zenn.dev/yosuke00/articles/ae21ccebf4e32a|Transformerアーキテクチャと自然言語処理の発展]]   * 2023-01-23 | [[https://zenn.dev/yosuke00/articles/ae21ccebf4e32a|Transformerアーキテクチャと自然言語処理の発展]]
   * 2022-12-26 | [[https://codezine.jp/article/detail/16860|「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する]]   * 2022-12-26 | [[https://codezine.jp/article/detail/16860|「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する]]
 +  * 2022-12-19 | [[https://qiita.com/keitean/items/c5e5523036bf4d0fca68|自然言語処理とDeep Learning　TransformerのMulti-Head Attentionの実装について]]
   * 2022-09-26 | [[https://www.megagon.ai/jp/blog/autotokenizer/|AutoTokenizerでCustom Tokenizerを読み込む方法]]   * 2022-09-26 | [[https://www.megagon.ai/jp/blog/autotokenizer/|AutoTokenizerでCustom Tokenizerを読み込む方法]]
   * 2022-09-11 | [[https://zenn.dev/python3654/articles/8d87bb501b5345|transformersに入門してみた！]]   * 2022-09-11 | [[https://zenn.dev/python3654/articles/8d87bb501b5345|transformersに入門してみた！]]
(感想・要望・情報提供)　
.gz · 最終更新: 2023/01/29 16:56 by admin

ページ用ツール

(広告募集)