自然言語処理の餅屋

• 機械翻訳を行うために提案された言語モデル。
  • attentionのみを用いたモデルで、再帰も畳み込みも一切使わない。
  • 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。
  • BERT、XLNet、GPT-2などのモデルのベースとなっている。
• encoder + decoder で構成されている。
  • このうちの encoder部分だけ取り出したのがBERT、decoder部分だけ取り出したのがGPT-2などのGPT。

Hugging Faceの深層学習ライブラリ。TensorflowとPyTorchの両方に対応。分類や質問応答などを行うことが可能。BERTなどに対応し、多言語で多様な事前学習モデルに対応。

• 2021-10-30 | Transformer models - 本家のチュートリアル

• 2022-10-14 | transformersのテキスト生成をXLAで高速化

• 2022-10-12 | 実践：日本語文章生成　Transformers ライブラリで学ぶ実装の守破離
• 2022-09-08 | 【🔰Huggingface Transformers入門①】 パイプラインによるタスク紹介

• 2023-01-24 | 【自然言語処理】Transformer #まとめ編
• 2023-01-23 | Transformerアーキテクチャと自然言語処理の発展
• 2022-12-26 | 「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する
• 2022-12-19 | 自然言語処理とDeep Learning　TransformerのMulti-Head Attentionの実装について
• 2022-09-26 | AutoTokenizerでCustom Tokenizerを読み込む方法
• 2022-09-11 | transformersに入門してみた！
• 2022-07-19 | huggingfaceで日本語言語モデルの利用
• 2022-06-08 | (スライド) Transformerの最前線 〜 畳込みニューラルネットワークの先へ 〜
• 2022-06-07 | (スライド) より良いTransformerをつくる – 2022年6月 名古屋地区NLPセミナーでのトーク
• 2022-05-06 | (動画) 【日本語 GPT 文章生成】Hugging Face 入門① 〜Pipelineで、学習済みモデルを使ってみよう〜 【with りんなちゃん】
• 2022-02-27 | イベントレポート | Pythonで自然言語処理ハンズオン #はんなりPython
• 2022-02-22 | 「Transformers」を使って自然言語処理を試したり「やばい」実験をした話。
• 2021-10-05 | transformersのTokenizerで固定長化する
• 2021-08-13 | 独立メカニズムを捉えるために、Transformerを分解する？
• 2021-07-02 | huggingface / transformersを使って日本語BERTの事前学習を実施してオリジナルな言語モデルを作ってみる
• 2021-06-25 | Transformer解説：GPT-3、BERT、T5の背後にあるモデルを理解する
• 2021-06-22 | 第15回 spaCy 3.0 で Transformer を利用する
• 2021-06-18 | Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】
• 2021-06-03 | Transformers-Tutorials
• 2021-05-26 | 画像認識に革命を起こしたTransformerと知っておくべきリスク
• 2021-04-15 | 図で理解するTransformer
• 2021-04-07 | Huggingface Transformers 入門 (27) - rinnaの日本語GPT-2モデルの推論
• 2021-01-06 | 自然言語処理界隈の巨人：Transformerモデルのご紹介
• 2021-01-03 | Huggingface Transformersによる日本語の感情分析 - 感情分析
• 2020-11-13 | (動画) 【1-4: Transformerの概要】BERTによる自然言語処理を学ぼう！ -Attention、TransformerからBERTへとつながるNLP技術-
• 2020-11-12 | Google、多言語にTransformerを適用した自然言語処理モデル発表【GitHub】
• 2020-08-03 | 深層学習界の大前提Transformerの論文解説！ - Qiita
• 2020-07-03 | 自然言語処理の必須知識 Transformer を徹底解説！
• 2020-06-26 | [Python]自然言語処理で遊んでみた ~transformers~ - Qiita
• 2020-06-25 | 【自然言語処理】単語埋め込みからSelf-Attention、2値分類まで。 - 分散表現, self-attention
• 2020-04-25 | 自然言語処理（NLP）で注目を集めているHuggingFaceのTransformers - Qiita
• 2020-04-22 | 【ディープラーニング自由研究】LSTM+Transformer モデルによるテキスト生成
• 2020-02-25 | 2019年はBERTとTransformerの年だった
• 2019-10-07 | 自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介 - self-attention
• 2019-08-20 | pytorch-transformersを触ってみる①
• 2019-08-13 | 【論文】"Attention is all you need"の解説
• 2018-12-05 | 作って理解する Transformer / Attention