ユーザ用ツール

サイト用ツール


サイドバー

ことのは研究所220606.jpg

ストックマーク220824.jpg

(広告募集)

言語モデル:bert

BERT

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

BERTとは

  • Bidirectional Encoder Representations from Transformers
  • 2018年10月にGoogleが発表した深層学習言語モデル
  • Transformerを用いてファインチューニングに使えるパラメータを事前学習する。
  • 2020年7月の現在では5000近くの論文で引用されています。
  • 文章読解のベンチマークSQuAD1.1で人間の精度を初めて超えた。多くのタスクで(当時)最高精度を出した。

日本語モデル

高速化

やってみた

記事

関連ページ

(感想・要望・情報提供) 
· 最終更新: 2022/09/14 21:30 by admin

(広告募集)