自然言語処理の餅屋

https://www.jnlp.org/

ユーザ用ツール

サイト用ツール

現在位置: 自然言語処理の餅屋 » 言語モデル » BERT
言語モデル:bert

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン		前のリビジョン
言語モデル:bert [2022/04/29 15:22] – ↷ 移動操作に合わせてリンクを書き換えました。 admin言語モデル:bert [2023/09/11 16:18] (現在) – admin
行 8: 行 8:
   * Bidirectional Encoder Representations from Transformers   * Bidirectional Encoder Representations from Transformers
   * 2018年10月に[[企業:google|Google]]が発表した[[人工知能:深層学習]]の[[:言語モデル]]。   * 2018年10月に[[企業:google|Google]]が発表した[[人工知能:深層学習]]の[[:言語モデル]]。
-  * [[言語モデル:transformer]]を用いて[[http://www.jnlp.org/nlp/top?do=search&id=bert&q=%E3%83%95%E3%82%A1%E3%82%A4%E3%83%B3%E3%83%81%E3%83%A5%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0|ファインチューニング]]に使えるパラメータを事前学習する。+  * [[transformer]]を用いて[[ファインチューニング]]に使えるパラメータを事前学習する。
   * 2020年７月の現在では5000近くの論文で引用されています。   * 2020年７月の現在では5000近くの論文で引用されています。
   * 文章読解のベンチマーク[[質問応答:squad]]1.1で人間の精度を初めて超えた。多くのタスクで(当時)最高精度を出した。   * 文章読解のベンチマーク[[質問応答:squad]]1.1で人間の精度を初めて超えた。多くのタスクで(当時)最高精度を出した。
 +  * 2023-04-19 | [[https://hiroyukichishiro.com/bert-pre-training-of-deep-bidirectional-transformers-for-language-understanding/|【日本語訳】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding【グーグル】]]
  
  
 === 日本語モデル === === 日本語モデル ===
   * 2021-08-25 | [[https://ledge.ai/rinna-gpt-2-bert/|rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習]]   * 2021-08-25 | [[https://ledge.ai/rinna-gpt-2-bert/|rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習]]
 +  * 2021-04-02 | [[https://github.com/himkt/awesome-bert-japanese|awesome-bert-japanese]] -- 日本語モデルの網羅的なまとめ
   * 2021-04-01 | [[https://tech.retrieva.jp/entry/2021/04/01/114943|日本語話し言葉BERTを作成、公開します！]]   * 2021-04-01 | [[https://tech.retrieva.jp/entry/2021/04/01/114943|日本語話し言葉BERTを作成、公開します！]]
   * 2020-12-18 | [[https://prtimes.jp/main/html/rd/p/000000015.000027192.html|オリジナル日本語版BERTモデルをさらに軽量・高速化『 Laboro DistilBERT 』を公開]] - 株式会社Laboro.AI   * 2020-12-18 | [[https://prtimes.jp/main/html/rd/p/000000015.000027192.html|オリジナル日本語版BERTモデルをさらに軽量・高速化『 Laboro DistilBERT 』を公開]] - 株式会社Laboro.AI
行 22: 行 23:
   * [[https://github.com/cl-tohoku/bert-japanese#pretrained-japanese-bert-models|Pretrained Japanese BERT models]]   * [[https://github.com/cl-tohoku/bert-japanese#pretrained-japanese-bert-models|Pretrained Japanese BERT models]]
   * [[https://qiita.com/kenta1984/items/6dc327c31b6c36e66863|大規模日本語SNSコーパスによる文分散表現モデルの公開 : hottoSNS-BERTの配布]]   * [[https://qiita.com/kenta1984/items/6dc327c31b6c36e66863|大規模日本語SNSコーパスによる文分散表現モデルの公開 : hottoSNS-BERTの配布]]
 +
 +=== 高速化 ===
 +  * 2022-08-16 | [[https://www.yurui-deep-learning.com/2022/08/16/hugging-face_bert_torch_tensorrt/|Hugging FaceのBERTモデルの推論をTorch TensorRTで高速化]]
 +
 +=== 作る ===
 +  * 2021-12-27 | [[https://tech.retrieva.jp/entry/2021/12/27/110000|BERTでの語彙追加~add_tokenに気をつけろ!~]]
  
 === やってみた === === やってみた ===
 +  * 2022-08-14 | [[https://zenn.dev/robes/articles/fd3315881f8874|【自然言語処理】BERTを使って歌詞をベクトルに変換し可視化する]]
 +  * 2022-07-06 | [[https://zenn.dev/schnell/articles/4acc48c49eb8eb|【自然言語処理】BERTの単語ベクトルで「王+女-男」を計算してみる]]
   * 2021-11-23 | [[https://qiita.com/Axross_SBiv/items/c402ff256204b759785b|BERT を活用したレシピ紹介]]   * 2021-11-23 | [[https://qiita.com/Axross_SBiv/items/c402ff256204b759785b|BERT を活用したレシピ紹介]]
   * 2021-09-17 | [[https://qiita.com/neonsk/items/27424d6122e00fe632b0|自然言語処理で注目のBERT ~取り敢えず動かしてみる編~]]   * 2021-09-17 | [[https://qiita.com/neonsk/items/27424d6122e00fe632b0|自然言語処理で注目のBERT ~取り敢えず動かしてみる編~]]
行 36: 行 45:
    
 === 記事 === === 記事 ===
 +  * 2023-09-11 | [[https://xrcloud.jp/blog/articles/business/12250/|BERTをわかりやすく解説！日本語版の使い方や他自然言語モデルとの比較まで]]
 +  * 2023-06-11 | (動画) [[https://www.youtube.com/watch?v=kL-QhhVgqr0|【BERTによる自然言語処理入門#1】自然言語処理入門]]
 +  * 2022-09-14 | [[https://atmarkit.itmedia.co.jp/ait/articles/2209/14/news007.html|汎用自然言語モデル「BERT」は、どんな仕組みで動いているのか？　コンピュータの文脈理解について解説]]
 +  * 2022-08-24 | [[https://note.com/satoshisgarage/n/na14f38db2b61|Googleの言語モデルBERTからアルゴリズムを妄想してみた]]
 +  * 2022-08-19 | [[https://blog.tech-monex.com/entry/2022/08/19/183846|BERT 自然言語解析手法の変遷について]]
   * 2022-03-09 | [[https://coosy.co.jp/blog/seo-bert/|BERTとは？仕組みやSEOで意識するべきこと]]   * 2022-03-09 | [[https://coosy.co.jp/blog/seo-bert/|BERTとは？仕組みやSEOで意識するべきこと]]
   * 2022-01-13 | [[https://zuuonline.com/archives/235586|BERTとは？ Googleによる自然言語処理の最新技術と検索、言語ビジネスへの影響]]   * 2022-01-13 | [[https://zuuonline.com/archives/235586|BERTとは？ Googleによる自然言語処理の最新技術と検索、言語ビジネスへの影響]]
行 49: 行 63:
   * 2020-11-05 | [[https://medium.com/axinc/bert-%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%82%92%E5%8A%B9%E7%8E%87%E7%9A%84%E3%81%AB%E5%AD%A6%E7%BF%92%E3%81%99%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%83%A2%E3%83%87%E3%83%AB-3a9c27d78cf8|BERT : 自然言語処理を効率的に学習する機械学習モデル]]   * 2020-11-05 | [[https://medium.com/axinc/bert-%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%82%92%E5%8A%B9%E7%8E%87%E7%9A%84%E3%81%AB%E5%AD%A6%E7%BF%92%E3%81%99%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%83%A2%E3%83%87%E3%83%AB-3a9c27d78cf8|BERT : 自然言語処理を効率的に学習する機械学習モデル]]
   * 2020-11-02 | (動画) [[https://www.youtube.com/watch?v=wPvRJXpLEyg|BERTによる自然言語処理を学ぼう!【 Live!人工知能 #26】]]   * 2020-11-02 | (動画) [[https://www.youtube.com/watch?v=wPvRJXpLEyg|BERTによる自然言語処理を学ぼう!【 Live!人工知能 #26】]]
 +  * 2020-10-03 | [[https://tma15.github.io/blog/2020/10/03/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86-%E3%81%82%E3%81%AA%E3%81%9F%E3%81%AEbert%E3%81%AB%E5%AF%BE%E3%81%99%E3%82%8Bfine-tuning%E3%81%AF%E3%81%AA%E3%81%9C%E5%A4%B1%E6%95%97%E3%81%99%E3%82%8B%E3%81%AE%E3%81%8B-%E8%AB%96%E6%96%87%E7%B4%B9%E4%BB%8B/|【自然言語処理】 あなたのBERTに対するfine-tuningはなぜ失敗するのか 【論文紹介】]]
   * 2020-09-30 | [[https://xtech.nikkei.com/atcl/nxt/column/18/00001/04558/|自然言語処理AIの革命児「BERT」、金融分野で期待が高まる理由]]   * 2020-09-30 | [[https://xtech.nikkei.com/atcl/nxt/column/18/00001/04558/|自然言語処理AIの革命児「BERT」、金融分野で期待が高まる理由]]
   * 2020-09-25 | [[https://qiita.com/H_Ny/items/5d0ed581ef01309f5c72|3行のコードでBERTによるテキスト分類ができる時代]]   * 2020-09-25 | [[https://qiita.com/H_Ny/items/5d0ed581ef01309f5c72|3行のコードでBERTによるテキスト分類ができる時代]]
(感想・要望・情報提供)　
.gz · 最終更新: 2022/04/29 15:22 by admin

ページ用ツール

(広告募集)