自然言語処理の餅屋

https://www.jnlp.org/

ユーザ用ツール

サイト用ツール

現在位置: 自然言語処理の餅屋 » 言語モデル » Transformer
言語モデル:transformer

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン		前のリビジョン
言語モデル:transformer [2022/07/02 10:33] – admin言語モデル:transformer [2023/06/26 17:57] (現在) – admin
行 4: 行 4:
     * [[:attention]]のみを用いたモデルで、再帰も畳み込みも一切使わない。     * [[:attention]]のみを用いたモデルで、再帰も畳み込みも一切使わない。
     * 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。     * 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。
-    * [[BERT]]、[[:xlnet]]、[[GPT-2]]などのモデルのベースとなっている。+    * [[BERT]]、[[:xlnet]]、[[.gpt:gpt-2]]などのモデルのベースとなっている。
   * encoder + decoder で構成されている。   * encoder + decoder で構成されている。
-    * このうちの encoder部分だけ取り出したのが[[BERT]]、decoder部分だけ取り出したのが[[GPT-2]]などのGPT。+    * このうちの encoder部分だけ取り出したのが[[BERT]]、decoder部分だけ取り出したのが[[.gpt:gpt-2]]などのGPT。
  
 === Huggingface Transformersとは === === Huggingface Transformersとは ===
行 16: 行 16:
 === チュートリアル === === チュートリアル ===
   * 2021-10-30 | [[https://huggingface.co/course/chapter1|Transformer models]] - 本家のチュートリアル   * 2021-10-30 | [[https://huggingface.co/course/chapter1|Transformer models]] - 本家のチュートリアル
 +  * 2020-09-04 | [[https://note.com/npaka/n/n5bb043191cc9|Huggingface Transformers 入門 (1) - 事始め]]
  
-==== 記事 ====+=== 高速化 === 
 +  * 2022-10-14 | [[https://www.ai-shift.co.jp/techblog/2889|transformersのテキスト生成をXLAで高速化]] 
 + 
 +=== やってみた === 
 +  * 2023-03-22 | [[https://tech.gmogshd.com/transformer/|Transformerをゼロから実装する]] 
 +  * 2023-02-16 | [[https://eng-blog.iij.ad.jp/archives/17980|Hugging Face Pipelineを使ったお手軽AIプログラミング]] 
 +  * 2022-10-12 | [[https://speakerdeck.com/upura/introduction-of-japanese-text-generation-with-transformers|実践：日本語文章生成　Transformers ライブラリで学ぶ実装の守破離]] 
 +  * 2022-09-08 | [[https://tt-tsukumochi.com/archives/3897|【🔰Huggingface Transformers入門①】 パイプラインによるタスク紹介]] 
 + 
 +=== 記事 === 
 +  * 2023-06-25 | (動画) [[https://www.youtube.com/watch?v=InwY8PqDHco|【BERTによる自然言語処理入門#5】Transformer]] 
 +  * 2023-04-07 | [[https://nlpillustration.tech/?p=185|【図解】Attentionとは？わかりやすく、そして深く解説｜自然言語処理(NLP)]] 
 +  * 2023-03-27 | [[https://isobe324649.hatenablog.com/entry/2023/03/27/064121|GPTの仕組みと限界についての考察（2.1）]] 
 +  * 2023-02-21 | [[https://qiita.com/taka_yayoi/items/69edceb96139ada695e4|Databricks、Delta、トランスフォーマーを用いた迅速なNLP開発]] 
 +  * 2023-02-14 | [[https://zenn.dev/zenkigen/articles/2023-01-shimizu|30分で完全理解するTransformerの世界]] 
 +  * 2023-01-24 | [[https://yhayato1320.hatenablog.com/entry/2023/01/24/163747|【自然言語処理】Transformer #まとめ編]] 
 +  * 2023-01-23 | [[https://zenn.dev/yosuke00/articles/ae21ccebf4e32a|Transformerアーキテクチャと自然言語処理の発展]] 
 +  * 2022-12-26 | [[https://codezine.jp/article/detail/16860|「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する]] 
 +  * 2022-12-19 | [[https://qiita.com/keitean/items/c5e5523036bf4d0fca68|自然言語処理とDeep Learning　TransformerのMulti-Head Attentionの実装について]] 
 +  * 2022-09-26 | [[https://www.megagon.ai/jp/blog/autotokenizer/|AutoTokenizerでCustom Tokenizerを読み込む方法]] 
 +  * 2022-09-11 | [[https://zenn.dev/python3654/articles/8d87bb501b5345|transformersに入門してみた！]] 
 +  * 2022-07-19 | [[http://blog.livedoor.jp/tak_tak0/archives/52441347.html|huggingfaceで日本語言語モデルの利用]]
   * 2022-06-08 | (スライド) [[https://speakerdeck.com/yushiku/20220608_ssii_transformer|Transformerの最前線 〜 畳込みニューラルネットワークの先へ 〜]]   * 2022-06-08 | (スライド) [[https://speakerdeck.com/yushiku/20220608_ssii_transformer|Transformerの最前線 〜 畳込みニューラルネットワークの先へ 〜]]
   * 2022-06-07 | (スライド) [[https://speakerdeck.com/butsugiri/yoriliang-itransformerwotukuru|より良いTransformerをつくる]] -- 2022年6月 名古屋地区NLPセミナーでのトーク   * 2022-06-07 | (スライド) [[https://speakerdeck.com/butsugiri/yoriliang-itransformerwotukuru|より良いTransformerをつくる]] -- 2022年6月 名古屋地区NLPセミナーでのトーク
行 30: 行 52:
   * 2021-06-18 | [[https://zenn.dev/ttya16/articles/ce89dcab833d32cadb39|Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】]]   * 2021-06-18 | [[https://zenn.dev/ttya16/articles/ce89dcab833d32cadb39|Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】]]
   * 2021-06-03 | [[https://github.com/NielsRogge/Transformers-Tutorials/blob/master/LUKE/Supervised_relation_extraction_with_LukeForEntityPairClassification.ipynb|Transformers-Tutorials]]   * 2021-06-03 | [[https://github.com/NielsRogge/Transformers-Tutorials/blob/master/LUKE/Supervised_relation_extraction_with_LukeForEntityPairClassification.ipynb|Transformers-Tutorials]]
 +  * 2021-05-26 | [[https://drive.google.com/file/d/1MllZXq9PC7e_zId1J1Mn0zJGmidnIUEE/view|画像認識に革命を起こしたTransformerと知っておくべきリスク]]
   * 2021-04-15 | [[https://qiita.com/birdwatcher/items/b3e4428f63f708db37b7|図で理解するTransformer]]   * 2021-04-15 | [[https://qiita.com/birdwatcher/items/b3e4428f63f708db37b7|図で理解するTransformer]]
   * 2021-04-07 | [[https://note.com/npaka/n/n96dde45fdf8d|Huggingface Transformers 入門 (27) - rinnaの日本語GPT-2モデルの推論]]   * 2021-04-07 | [[https://note.com/npaka/n/n96dde45fdf8d|Huggingface Transformers 入門 (27) - rinnaの日本語GPT-2モデルの推論]]
(感想・要望・情報提供)　
.gz · 最終更新: 2022/07/02 10:33 by admin

ページ用ツール

(広告募集)