ユーザ用ツール

サイト用ツール


言語モデル:transformer

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン
前のリビジョン
言語モデル:transformer [2022/02/27 13:32] admin言語モデル:transformer [2023/06/26 17:57] (現在) admin
行 4: 行 4:
     * [[:attention]]のみを用いたモデルで、再帰も畳み込みも一切使わない。     * [[:attention]]のみを用いたモデルで、再帰も畳み込みも一切使わない。
     * 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。     * 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。
-    * [[BERT]]、[[:xlnet]]、[[GPT-2]]などのモデルのベースとなっている。+    * [[BERT]]、[[:xlnet]]、[[.gpt:gpt-2]]などのモデルのベースとなっている。
   * encoder + decoder で構成されている。   * encoder + decoder で構成されている。
-    * このうちの encoder部分だけ取り出したのが[[BERT]]、decoder部分だけ取り出したのが[[GPT-2]]などのGPT。+    * このうちの encoder部分だけ取り出したのが[[BERT]]、decoder部分だけ取り出したのが[[.gpt:gpt-2]]などのGPT。
  
 === Huggingface Transformersとは === === Huggingface Transformersとは ===
-[[企業:Hugging Face]]の[[:深層学習]][[ライブラリ:]]。[[:TensorFlow]]と[[環境:pytorch]]の両方に対応。[[:分類]]や[[:質問応答]]などを行うことが可能。[[言語モデル:bert]]などに対応し、多言語で多様な[[:事前学習]]モデルに対応。+[[企業:Hugging Face]]の[[人工知能:深層学習]][[ライブラリ:]]。[[環境:tensorflow]]と[[環境:pytorch]]の両方に対応。[[:分類]]や[[:質問応答]]などを行うことが可能。[[言語モデル:bert]]などに対応し、多言語で多様な[[:事前学習]]モデルに対応。
  
-=== 事 ===+=== モデル === 
 +^Sudachi Transformers (chiTra)|https://github.com/WorksApplications/SudachiTra|前学習済みの大規模な言語モデルと Transformers 向けの日本語形態素解析器| 
 + 
 +=== チュートリアル ===
   * 2021-10-30 | [[https://huggingface.co/course/chapter1|Transformer models]] - 本家のチュートリアル   * 2021-10-30 | [[https://huggingface.co/course/chapter1|Transformer models]] - 本家のチュートリアル
 +  * 2020-09-04 | [[https://note.com/npaka/n/n5bb043191cc9|Huggingface Transformers 入門 (1) - 事始め]]
  
 +=== 高速化 ===
 +  * 2022-10-14 | [[https://www.ai-shift.co.jp/techblog/2889|transformersのテキスト生成をXLAで高速化]]
  
-==== 記事 ====+=== やってみた === 
 +  * 2023-03-22 | [[https://tech.gmogshd.com/transformer/|Transformerをゼロから実装する]] 
 +  * 2023-02-16 | [[https://eng-blog.iij.ad.jp/archives/17980|Hugging Face Pipelineを使ったお手軽AIプログラミング]] 
 +  * 2022-10-12 | [[https://speakerdeck.com/upura/introduction-of-japanese-text-generation-with-transformers|実践:日本語文章生成 Transformers ライブラリで学ぶ実装の守破離]] 
 +  * 2022-09-08 | [[https://tt-tsukumochi.com/archives/3897|【🔰Huggingface Transformers入門①】 パイプラインによるタスク紹介]] 
 + 
 +=== 記事 === 
 +  * 2023-06-25 | (動画) [[https://www.youtube.com/watch?v=InwY8PqDHco|【BERTによる自然言語処理入門#5】Transformer]] 
 +  * 2023-04-07 | [[https://nlpillustration.tech/?p=185|【図解】Attentionとは?わかりやすく、そして深く解説|自然言語処理(NLP)]] 
 +  * 2023-03-27 | [[https://isobe324649.hatenablog.com/entry/2023/03/27/064121|GPTの仕組みと限界についての考察(2.1)]] 
 +  * 2023-02-21 | [[https://qiita.com/taka_yayoi/items/69edceb96139ada695e4|Databricks、Delta、トランスフォーマーを用いた迅速なNLP開発]] 
 +  * 2023-02-14 | [[https://zenn.dev/zenkigen/articles/2023-01-shimizu|30分で完全理解するTransformerの世界]] 
 +  * 2023-01-24 | [[https://yhayato1320.hatenablog.com/entry/2023/01/24/163747|【自然言語処理】Transformer #まとめ編]] 
 +  * 2023-01-23 | [[https://zenn.dev/yosuke00/articles/ae21ccebf4e32a|Transformerアーキテクチャと自然言語処理の発展]] 
 +  * 2022-12-26 | [[https://codezine.jp/article/detail/16860|「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する]] 
 +  * 2022-12-19 | [[https://qiita.com/keitean/items/c5e5523036bf4d0fca68|自然言語処理とDeep Learning TransformerのMulti-Head Attentionの実装について]] 
 +  * 2022-09-26 | [[https://www.megagon.ai/jp/blog/autotokenizer/|AutoTokenizerでCustom Tokenizerを読み込む方法]] 
 +  * 2022-09-11 | [[https://zenn.dev/python3654/articles/8d87bb501b5345|transformersに入門してみた!]] 
 +  * 2022-07-19 | [[http://blog.livedoor.jp/tak_tak0/archives/52441347.html|huggingfaceで日本語言語モデルの利用]] 
 +  * 2022-06-08 | (スライド) [[https://speakerdeck.com/yushiku/20220608_ssii_transformer|Transformerの最前線 〜 畳込みニューラルネットワークの先へ 〜]] 
 +  * 2022-06-07 | (スライド) [[https://speakerdeck.com/butsugiri/yoriliang-itransformerwotukuru|より良いTransformerをつくる]] -- 2022年6月 名古屋地区NLPセミナーでのトーク 
 +  * 2022-05-06 | (動画) [[https://www.youtube.com/watch?v=Fss7czY2R0s|【日本語 GPT 文章生成】Hugging Face 入門① 〜Pipelineで、学習済みモデルを使ってみよう〜 【with りんなちゃん】]] 
 +  * 2022-02-27 | [[https://nikkie-ftnext.hatenablog.com/entry/hannari-python-bert-nlp-handson-202202|イベントレポート | Pythonで自然言語処理ハンズオン #はんなりPython]]
   * 2022-02-22 | [[https://techblog.cccmk.co.jp/entry/2022/02/22/105527|「Transformers」を使って自然言語処理を試したり「やばい」実験をした話。]]   * 2022-02-22 | [[https://techblog.cccmk.co.jp/entry/2022/02/22/105527|「Transformers」を使って自然言語処理を試したり「やばい」実験をした話。]]
   * 2021-10-05 | [[https://moneyforward.com/engineers_blog/2021/10/05/transformers-tokenizer/|transformersのTokenizerで固定長化する]]   * 2021-10-05 | [[https://moneyforward.com/engineers_blog/2021/10/05/transformers-tokenizer/|transformersのTokenizerで固定長化する]]
行 24: 行 52:
   * 2021-06-18 | [[https://zenn.dev/ttya16/articles/ce89dcab833d32cadb39|Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】]]   * 2021-06-18 | [[https://zenn.dev/ttya16/articles/ce89dcab833d32cadb39|Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】]]
   * 2021-06-03 | [[https://github.com/NielsRogge/Transformers-Tutorials/blob/master/LUKE/Supervised_relation_extraction_with_LukeForEntityPairClassification.ipynb|Transformers-Tutorials]]   * 2021-06-03 | [[https://github.com/NielsRogge/Transformers-Tutorials/blob/master/LUKE/Supervised_relation_extraction_with_LukeForEntityPairClassification.ipynb|Transformers-Tutorials]]
 +  * 2021-05-26 | [[https://drive.google.com/file/d/1MllZXq9PC7e_zId1J1Mn0zJGmidnIUEE/view|画像認識に革命を起こしたTransformerと知っておくべきリスク]]
   * 2021-04-15 | [[https://qiita.com/birdwatcher/items/b3e4428f63f708db37b7|図で理解するTransformer]]   * 2021-04-15 | [[https://qiita.com/birdwatcher/items/b3e4428f63f708db37b7|図で理解するTransformer]]
   * 2021-04-07 | [[https://note.com/npaka/n/n96dde45fdf8d|Huggingface Transformers 入門 (27) - rinnaの日本語GPT-2モデルの推論]]   * 2021-04-07 | [[https://note.com/npaka/n/n96dde45fdf8d|Huggingface Transformers 入門 (27) - rinnaの日本語GPT-2モデルの推論]]
   * 2021-01-06 | [[https://blog.brainpad.co.jp/entry/2021/01/06/113000|自然言語処理界隈の巨人:Transformerモデルのご紹介]]   * 2021-01-06 | [[https://blog.brainpad.co.jp/entry/2021/01/06/113000|自然言語処理界隈の巨人:Transformerモデルのご紹介]]
-  * 2021-01-03 | [[https://note.com/npaka/n/ne0adde2d7ae8|Huggingface Transformersによる日本語の感情分析]] - [[:感情分析]]+  * 2021-01-03 | [[https://note.com/npaka/n/ne0adde2d7ae8|Huggingface Transformersによる日本語の感情分析]] - [[テキストマイニング:感情分析]]
   * 2020-11-13 | (動画) [[https://www.youtube.com/watch?v=uJG4ELehq-A|【1-4: Transformerの概要】BERTによる自然言語処理を学ぼう! -Attention、TransformerからBERTへとつながるNLP技術-]]   * 2020-11-13 | (動画) [[https://www.youtube.com/watch?v=uJG4ELehq-A|【1-4: Transformerの概要】BERTによる自然言語処理を学ぼう! -Attention、TransformerからBERTへとつながるNLP技術-]]
   * 2020-11-12 | [[https://aiboom.net/archives/44517|Google、多言語にTransformerを適用した自然言語処理モデル発表【GitHub】]]   * 2020-11-12 | [[https://aiboom.net/archives/44517|Google、多言語にTransformerを適用した自然言語処理モデル発表【GitHub】]]
行 33: 行 62:
   * 2020-07-03 | [[https://deepsquare.jp/2020/07/transformer/|自然言語処理の必須知識 Transformer を徹底解説!]]   * 2020-07-03 | [[https://deepsquare.jp/2020/07/transformer/|自然言語処理の必須知識 Transformer を徹底解説!]]
   * 2020-06-26 | [[https://qiita.com/Tatsunotoshigo/items/6682eba58d0cddf971a1|[Python]自然言語処理で遊んでみた ~transformers~]] - Qiita   * 2020-06-26 | [[https://qiita.com/Tatsunotoshigo/items/6682eba58d0cddf971a1|[Python]自然言語処理で遊んでみた ~transformers~]] - Qiita
-  * 2020-06-25 | [[https://dajiro.com/entry/2020/06/25/223525|【自然言語処理】単語埋め込みからSelf-Attention、2値分類まで。]] - [[分散表現:top]], [[:self-attention]]+  * 2020-06-25 | [[https://dajiro.com/entry/2020/06/25/223525|【自然言語処理】単語埋め込みからSelf-Attention、2値分類まで。]] - [[:分散表現]], [[:self-attention]]
   * 2020-04-25 | [[https://qiita.com/kenta1984/items/a20e525247e4848761f6|自然言語処理(NLP)で注目を集めているHuggingFaceのTransformers]] - Qiita   * 2020-04-25 | [[https://qiita.com/kenta1984/items/a20e525247e4848761f6|自然言語処理(NLP)で注目を集めているHuggingFaceのTransformers]] - Qiita
   * 2020-04-22 | [[https://note.com/diatonic_codes/n/nab29c78bbf2e|【ディープラーニング自由研究】LSTM+Transformer モデルによるテキスト生成]]   * 2020-04-22 | [[https://note.com/diatonic_codes/n/nab29c78bbf2e|【ディープラーニング自由研究】LSTM+Transformer モデルによるテキスト生成]]
   * 2020-02-25 | [[https://ainow.ai/2020/02/25/183082/|2019年はBERTとTransformerの年だった]]   * 2020-02-25 | [[https://ainow.ai/2020/02/25/183082/|2019年はBERTとTransformerの年だった]]
   * 2019-10-07 | [[https://medium.com/lsc-psd/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%81%AE%E5%B7%A8%E7%8D%A3-transformer-%E3%81%AEself-attention-layer%E7%B4%B9%E4%BB%8B-a04dc999efc5|自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介]] - [[:self-attention]]   * 2019-10-07 | [[https://medium.com/lsc-psd/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%81%AE%E5%B7%A8%E7%8D%A3-transformer-%E3%81%AEself-attention-layer%E7%B4%B9%E4%BB%8B-a04dc999efc5|自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介]] - [[:self-attention]]
 +  * 2019-08-20 | [[https://kento1109.hatenablog.com/entry/2019/08/20/161936|pytorch-transformersを触ってみる①]]
 +  * 2019-08-13 | [[https://www.acceluniverse.com/blog/developers/2019/08/attention.html|【論文】"Attention is all you need"の解説]]
   * 2018-12-05 | [[https://qiita.com/halhorn/items/c91497522be27bde17ce|作って理解する Transformer / Attention]]   * 2018-12-05 | [[https://qiita.com/halhorn/items/c91497522be27bde17ce|作って理解する Transformer / Attention]]
  
(感想・要望・情報提供) 
.gz · 最終更新: 2022/02/27 13:32 by admin

(広告募集)