言語モデル:transformer

Transformer

Transformerとは

機械翻訳を行うために提案された言語モデル。
- attentionのみを用いたモデルで、再帰も畳み込みも一切使わない。
- 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。
- BERT、XLNet、GPT-2などのモデルのベースとなっている。
encoder + decoder で構成されている。
- このうちの encoder部分だけ取り出したのがBERT、decoder部分だけ取り出したのがGPT-2などのGPT。

Huggingface Transformersとは

Hugging Faceの深層学習ライブラリ。TensorflowとPyTorchの両方に対応。分類や質問応答などを行うことが可能。BERTなどに対応し、多言語で多様な事前学習モデルに対応。

モデル

Sudachi Transformers (chiTra)	https://github.com/WorksApplications/SudachiTra	事前学習済みの大規模な言語モデルと Transformers 向けの日本語形態素解析器

チュートリアル

2021-10-30 | Transformer models - 本家のチュートリアル
2020-09-04 | Huggingface Transformers 入門 (1) - 事始め

高速化

2022-10-14 | transformersのテキスト生成をXLAで高速化

やってみた

2023-03-22 | Transformerをゼロから実装する
2023-02-16 | Hugging Face Pipelineを使ったお手軽AIプログラミング
2022-10-12 | 実践：日本語文章生成　Transformers ライブラリで学ぶ実装の守破離
2022-09-08 | 【🔰Huggingface Transformers入門①】パイプラインによるタスク紹介

記事

2023-06-25 | (動画) 【BERTによる自然言語処理入門#5】Transformer
2023-04-07 | 【図解】Attentionとは？わかりやすく、そして深く解説｜自然言語処理(NLP)
2023-03-27 | GPTの仕組みと限界についての考察（2.1）
2023-02-21 | Databricks、Delta、トランスフォーマーを用いた迅速なNLP開発
2023-02-14 | 30分で完全理解するTransformerの世界
2023-01-24 | 【自然言語処理】Transformer #まとめ編
2023-01-23 | Transformerアーキテクチャと自然言語処理の発展
2022-12-26 | 「Transformer」の仕組み──AIによる画像・動画生成や自然言語処理で話題の深層学習モデルを理解する
2022-12-19 | 自然言語処理とDeep Learning　TransformerのMulti-Head Attentionの実装について
2022-09-26 | AutoTokenizerでCustom Tokenizerを読み込む方法
2022-09-11 | transformersに入門してみた！
2022-07-19 | huggingfaceで日本語言語モデルの利用
2022-06-08 | (スライド) Transformerの最前線〜畳込みニューラルネットワークの先へ〜
2022-06-07 | (スライド) より良いTransformerをつくる – 2022年6月名古屋地区NLPセミナーでのトーク
2022-05-06 | (動画) 【日本語 GPT 文章生成】Hugging Face 入門① 〜Pipelineで、学習済みモデルを使ってみよう〜【with りんなちゃん】
2022-02-27 | イベントレポート | Pythonで自然言語処理ハンズオン #はんなりPython
2022-02-22 | 「Transformers」を使って自然言語処理を試したり「やばい」実験をした話。
2021-10-05 | transformersのTokenizerで固定長化する
2021-08-13 | 独立メカニズムを捉えるために、Transformerを分解する？
2021-07-02 | huggingface / transformersを使って日本語BERTの事前学習を実施してオリジナルな言語モデルを作ってみる
2021-06-25 | Transformer解説：GPT-3、BERT、T5の背後にあるモデルを理解する
2021-06-22 | 第15回 spaCy 3.0 で Transformer を利用する
2021-06-18 | Hugging Face Courseで学ぶ自然言語処理とTransformer 【part1】
2021-06-03 | Transformers-Tutorials
2021-05-26 | 画像認識に革命を起こしたTransformerと知っておくべきリスク
2021-04-15 | 図で理解するTransformer
2021-04-07 | Huggingface Transformers 入門 (27) - rinnaの日本語GPT-2モデルの推論
2021-01-06 | 自然言語処理界隈の巨人：Transformerモデルのご紹介
2021-01-03 | Huggingface Transformersによる日本語の感情分析 - 感情分析
2020-11-13 | (動画) 【1-4: Transformerの概要】BERTによる自然言語処理を学ぼう！ -Attention、TransformerからBERTへとつながるNLP技術-
2020-11-12 | Google、多言語にTransformerを適用した自然言語処理モデル発表【GitHub】
2020-08-03 | 深層学習界の大前提Transformerの論文解説！ - Qiita
2020-07-03 | 自然言語処理の必須知識 Transformer を徹底解説！
2020-06-26 | [Python]自然言語処理で遊んでみた ~transformers~ - Qiita
2020-06-25 | 【自然言語処理】単語埋め込みからSelf-Attention、2値分類まで。 - 分散表現, self-attention
2020-04-25 | 自然言語処理（NLP）で注目を集めているHuggingFaceのTransformers - Qiita
2020-04-22 | 【ディープラーニング自由研究】LSTM+Transformer モデルによるテキスト生成
2020-02-25 | 2019年はBERTとTransformerの年だった
2019-10-07 | 自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介 - self-attention
2019-08-20 | pytorch-transformersを触ってみる①
2019-08-13 | 【論文】"Attention is all you need"の解説
2018-12-05 | 作って理解する Transformer / Attention