言語モデル:bert

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

--- 言語モデル:bert [2022/09/14 21:30] – admin
+++ 言語モデル:bert [2023/09/11 16:18] (現在) – admin
@@ 行 8: / 行 8: @@
   * Bidirectional Encoder Representations from Transformers
   * 2018年10月に[[企業:google|Google]]が発表した[[人工知能:深層学習]]の[[:言語モデル]]。
-  * [[言語モデル:transformer]]を用いて[[http://www.jnlp.org/nlp/top?do=search&id=bert&q=%E3%83%95%E3%82%A1%E3%82%A4%E3%83%B3%E3%83%81%E3%83%A5%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0|ファインチューニング]]に使えるパラメータを事前学習する。
+  * [[transformer]]を用いて[[ファインチューニング]]に使えるパラメータを事前学習する。
   * 2020年７月の現在では5000近くの論文で引用されています。
   * 文章読解のベンチマーク[[質問応答:squad]]1.1で人間の精度を初めて超えた。多くのタスクで(当時)最高精度を出した。
+  * 2023-04-19 | [[https://hiroyukichishiro.com/bert-pre-training-of-deep-bidirectional-transformers-for-language-understanding/|【日本語訳】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding【グーグル】]]
@@ 行 26: / 行 26: @@
 === 高速化 ===
   * 2022-08-16 | [[https://www.yurui-deep-learning.com/2022/08/16/hugging-face_bert_torch_tensorrt/|Hugging FaceのBERTモデルの推論をTorch TensorRTで高速化]]
+=== 作る ===
+  * 2021-12-27 | [[https://tech.retrieva.jp/entry/2021/12/27/110000|BERTでの語彙追加~add_tokenに気をつけろ!~]]
 === やってみた ===
@@ 行 42: / 行 45: @@
 === 記事 ===
+  * 2023-09-11 | [[https://xrcloud.jp/blog/articles/business/12250/|BERTをわかりやすく解説！日本語版の使い方や他自然言語モデルとの比較まで]]
+  * 2023-06-11 | (動画) [[https://www.youtube.com/watch?v=kL-QhhVgqr0|【BERTによる自然言語処理入門#1】自然言語処理入門]]
+  * 2022-09-14 | [[https://atmarkit.itmedia.co.jp/ait/articles/2209/14/news007.html|汎用自然言語モデル「BERT」は、どんな仕組みで動いているのか？　コンピュータの文脈理解について解説]]
   * 2022-08-24 | [[https://note.com/satoshisgarage/n/na14f38db2b61|Googleの言語モデルBERTからアルゴリズムを妄想してみた]]
   * 2022-08-19 | [[https://blog.tech-monex.com/entry/2022/08/19/183846|BERT 自然言語解析手法の変遷について]]

(感想・要望・情報提供)　

.gz · 最終更新: 2022/09/14 21:30 by admin

(広告募集)