ユーザ用ツール

サイト用ツール


サイドバー

言語モデル:transformer

文書の過去の版を表示しています。


Transformer

Transformerとは

  • 機械翻訳を行うために提案された言語モデル
    • attentionのみを用いたモデルで、再帰も畳み込みも一切使わない。
    • 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。
    • BERTXLNetGPT-2などのモデルのベースとなっている。
  • encoder + decoder で構成されている。
    • このうちの encoder部分だけ取り出したのがBERT、decoder部分だけ取り出したのがGPT-2などのGPT。

Huggingface Transformersとは

Hugging Face深層学習ライブラリTensorFlowPyTorchの両方に対応。分類質問応答などを行うことが可能。BERTなどに対応し、多言語で多様な事前学習モデルに対応。

記事

記事

(感想・要望・情報提供) 
.gz · 最終更新: 2022/03/12 23:28 by admin

(広告募集)