ユーザ用ツール

サイト用ツール


サイドバー

ことのは研究所220606.jpg

(広告募集)

言語モデル:transformer

Transformer

Transformerとは

  • 機械翻訳を行うために提案された言語モデル
    • attentionのみを用いたモデルで、再帰も畳み込みも一切使わない。
    • 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。
    • BERTXLNetGPT-2などのモデルのベースとなっている。
  • encoder + decoder で構成されている。
    • このうちの encoder部分だけ取り出したのがBERT、decoder部分だけ取り出したのがGPT-2などのGPT。

Huggingface Transformersとは

Hugging Face深層学習ライブラリTensorflowPyTorchの両方に対応。分類質問応答などを行うことが可能。BERTなどに対応し、多言語で多様な事前学習モデルに対応。

モデル

Sudachi Transformers (chiTra)https://github.com/WorksApplications/SudachiTra事前学習済みの大規模な言語モデルと Transformers 向けの日本語形態素解析器

チュートリアル

高速化

やってみた

記事

(感想・要望・情報提供) 
· 最終更新: 2022/10/22 17:38 by admin

(広告募集)