自然言語処理の餅屋

https://www.jnlp.org/

ユーザ用ツール

サイト用ツール

現在位置: 自然言語処理の餅屋 » 言語モデル » BERT
言語モデル:bert

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン		前のリビジョン
言語モデル:bert [2022/04/29 13:10] – admin言語モデル:bert [2023/09/11 16:18] (現在) – admin
行 7: 行 7:
 === BERTとは === === BERTとは ===
   * Bidirectional Encoder Representations from Transformers   * Bidirectional Encoder Representations from Transformers
-  * 2018年10月に[[企業:google|Google]]が発表した[[:深層学習]]の[[言語モデル:top]]。 +  * 2018年10月に[[企業:google|Google]]が発表した[[人工知能:深層学習]]の[[:言語モデル]]。 
-  * [[言語モデル:transformer]]を用いて[[http://www.jnlp.org/nlp/top?do=search&id=bert&q=%E3%83%95%E3%82%A1%E3%82%A4%E3%83%B3%E3%83%81%E3%83%A5%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0|ファインチューニング]]に使えるパラメータを事前学習する。+  * [[transformer]]を用いて[[ファインチューニング]]に使えるパラメータを事前学習する。
   * 2020年７月の現在では5000近くの論文で引用されています。   * 2020年７月の現在では5000近くの論文で引用されています。
-  * 文章読解のベンチマーク[[:squad]]1.1で人間の精度を初めて超えた。多くのタスクで(当時)最高精度を出した。 +  * 文章読解のベンチマーク[[質問応答:squad]]1.1で人間の精度を初めて超えた。多くのタスクで(当時)最高精度を出した。 
 +  * 2023-04-19 | [[https://hiroyukichishiro.com/bert-pre-training-of-deep-bidirectional-transformers-for-language-understanding/|【日本語訳】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding【グーグル】]]
  
  
 === 日本語モデル === === 日本語モデル ===
   * 2021-08-25 | [[https://ledge.ai/rinna-gpt-2-bert/|rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習]]   * 2021-08-25 | [[https://ledge.ai/rinna-gpt-2-bert/|rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習]]
 +  * 2021-04-02 | [[https://github.com/himkt/awesome-bert-japanese|awesome-bert-japanese]] -- 日本語モデルの網羅的なまとめ
   * 2021-04-01 | [[https://tech.retrieva.jp/entry/2021/04/01/114943|日本語話し言葉BERTを作成、公開します！]]   * 2021-04-01 | [[https://tech.retrieva.jp/entry/2021/04/01/114943|日本語話し言葉BERTを作成、公開します！]]
   * 2020-12-18 | [[https://prtimes.jp/main/html/rd/p/000000015.000027192.html|オリジナル日本語版BERTモデルをさらに軽量・高速化『 Laboro DistilBERT 』を公開]] - 株式会社Laboro.AI   * 2020-12-18 | [[https://prtimes.jp/main/html/rd/p/000000015.000027192.html|オリジナル日本語版BERTモデルをさらに軽量・高速化『 Laboro DistilBERT 』を公開]] - 株式会社Laboro.AI
行 22: 行 23:
   * [[https://github.com/cl-tohoku/bert-japanese#pretrained-japanese-bert-models|Pretrained Japanese BERT models]]   * [[https://github.com/cl-tohoku/bert-japanese#pretrained-japanese-bert-models|Pretrained Japanese BERT models]]
   * [[https://qiita.com/kenta1984/items/6dc327c31b6c36e66863|大規模日本語SNSコーパスによる文分散表現モデルの公開 : hottoSNS-BERTの配布]]   * [[https://qiita.com/kenta1984/items/6dc327c31b6c36e66863|大規模日本語SNSコーパスによる文分散表現モデルの公開 : hottoSNS-BERTの配布]]
 +
 +=== 高速化 ===
 +  * 2022-08-16 | [[https://www.yurui-deep-learning.com/2022/08/16/hugging-face_bert_torch_tensorrt/|Hugging FaceのBERTモデルの推論をTorch TensorRTで高速化]]
 +
 +=== 作る ===
 +  * 2021-12-27 | [[https://tech.retrieva.jp/entry/2021/12/27/110000|BERTでの語彙追加~add_tokenに気をつけろ!~]]
  
 === やってみた === === やってみた ===
 +  * 2022-08-14 | [[https://zenn.dev/robes/articles/fd3315881f8874|【自然言語処理】BERTを使って歌詞をベクトルに変換し可視化する]]
 +  * 2022-07-06 | [[https://zenn.dev/schnell/articles/4acc48c49eb8eb|【自然言語処理】BERTの単語ベクトルで「王+女-男」を計算してみる]]
   * 2021-11-23 | [[https://qiita.com/Axross_SBiv/items/c402ff256204b759785b|BERT を活用したレシピ紹介]]   * 2021-11-23 | [[https://qiita.com/Axross_SBiv/items/c402ff256204b759785b|BERT を活用したレシピ紹介]]
   * 2021-09-17 | [[https://qiita.com/neonsk/items/27424d6122e00fe632b0|自然言語処理で注目のBERT ~取り敢えず動かしてみる編~]]   * 2021-09-17 | [[https://qiita.com/neonsk/items/27424d6122e00fe632b0|自然言語処理で注目のBERT ~取り敢えず動かしてみる編~]]
行 36: 行 45:
    
 === 記事 === === 記事 ===
 +  * 2023-09-11 | [[https://xrcloud.jp/blog/articles/business/12250/|BERTをわかりやすく解説！日本語版の使い方や他自然言語モデルとの比較まで]]
 +  * 2023-06-11 | (動画) [[https://www.youtube.com/watch?v=kL-QhhVgqr0|【BERTによる自然言語処理入門#1】自然言語処理入門]]
 +  * 2022-09-14 | [[https://atmarkit.itmedia.co.jp/ait/articles/2209/14/news007.html|汎用自然言語モデル「BERT」は、どんな仕組みで動いているのか？　コンピュータの文脈理解について解説]]
 +  * 2022-08-24 | [[https://note.com/satoshisgarage/n/na14f38db2b61|Googleの言語モデルBERTからアルゴリズムを妄想してみた]]
 +  * 2022-08-19 | [[https://blog.tech-monex.com/entry/2022/08/19/183846|BERT 自然言語解析手法の変遷について]]
   * 2022-03-09 | [[https://coosy.co.jp/blog/seo-bert/|BERTとは？仕組みやSEOで意識するべきこと]]   * 2022-03-09 | [[https://coosy.co.jp/blog/seo-bert/|BERTとは？仕組みやSEOで意識するべきこと]]
   * 2022-01-13 | [[https://zuuonline.com/archives/235586|BERTとは？ Googleによる自然言語処理の最新技術と検索、言語ビジネスへの影響]]   * 2022-01-13 | [[https://zuuonline.com/archives/235586|BERTとは？ Googleによる自然言語処理の最新技術と検索、言語ビジネスへの影響]]
行 49: 行 63:
   * 2020-11-05 | [[https://medium.com/axinc/bert-%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%82%92%E5%8A%B9%E7%8E%87%E7%9A%84%E3%81%AB%E5%AD%A6%E7%BF%92%E3%81%99%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%83%A2%E3%83%87%E3%83%AB-3a9c27d78cf8|BERT : 自然言語処理を効率的に学習する機械学習モデル]]   * 2020-11-05 | [[https://medium.com/axinc/bert-%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%82%92%E5%8A%B9%E7%8E%87%E7%9A%84%E3%81%AB%E5%AD%A6%E7%BF%92%E3%81%99%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%83%A2%E3%83%87%E3%83%AB-3a9c27d78cf8|BERT : 自然言語処理を効率的に学習する機械学習モデル]]
   * 2020-11-02 | (動画) [[https://www.youtube.com/watch?v=wPvRJXpLEyg|BERTによる自然言語処理を学ぼう!【 Live!人工知能 #26】]]   * 2020-11-02 | (動画) [[https://www.youtube.com/watch?v=wPvRJXpLEyg|BERTによる自然言語処理を学ぼう!【 Live!人工知能 #26】]]
 +  * 2020-10-03 | [[https://tma15.github.io/blog/2020/10/03/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86-%E3%81%82%E3%81%AA%E3%81%9F%E3%81%AEbert%E3%81%AB%E5%AF%BE%E3%81%99%E3%82%8Bfine-tuning%E3%81%AF%E3%81%AA%E3%81%9C%E5%A4%B1%E6%95%97%E3%81%99%E3%82%8B%E3%81%AE%E3%81%8B-%E8%AB%96%E6%96%87%E7%B4%B9%E4%BB%8B/|【自然言語処理】 あなたのBERTに対するfine-tuningはなぜ失敗するのか 【論文紹介】]]
   * 2020-09-30 | [[https://xtech.nikkei.com/atcl/nxt/column/18/00001/04558/|自然言語処理AIの革命児「BERT」、金融分野で期待が高まる理由]]   * 2020-09-30 | [[https://xtech.nikkei.com/atcl/nxt/column/18/00001/04558/|自然言語処理AIの革命児「BERT」、金融分野で期待が高まる理由]]
   * 2020-09-25 | [[https://qiita.com/H_Ny/items/5d0ed581ef01309f5c72|3行のコードでBERTによるテキスト分類ができる時代]]   * 2020-09-25 | [[https://qiita.com/H_Ny/items/5d0ed581ef01309f5c72|3行のコードでBERTによるテキスト分類ができる時代]]
行 63: 行 78:
   * 2020-05-16 | [[https://qiita.com/YuiKasuga/items/343309257da1798c1b63|BERTの精度を向上させる手法10選]] - Qiita   * 2020-05-16 | [[https://qiita.com/YuiKasuga/items/343309257da1798c1b63|BERTの精度を向上させる手法10選]] - Qiita
   * 2020-04-17 | [[https://developers-jp.googleblog.com/2020/04/tensorflowjs-bert.html|ブラウザと Tensorflow.js を使った BERT の活用方法を考える]]   * 2020-04-17 | [[https://developers-jp.googleblog.com/2020/04/tensorflowjs-bert.html|ブラウザと Tensorflow.js を使った BERT の活用方法を考える]]
-  * 2020-04-13 | [[https://qiita.com/kazuki_hayakawa/items/5d95472c561d94fda361|BERT + LightGBM + optuna で手軽に自然言語処理モデルを構築する]] - [[データ:livedoorニュースコーパス]], [[:lightgbm]] - Qiita+  * 2020-04-13 | [[https://qiita.com/kazuki_hayakawa/items/5d95472c561d94fda361|BERT + LightGBM + optuna で手軽に自然言語処理モデルを構築する]] - [[データ:livedoorニュースコーパス]], [[人工知能:lightgbm]] - Qiita
   * 2019-12-15 | [[https://sinyblog.com/deaplearning/bert-001/|自然言語処理BERTの概要と実装ポイント、今後について]]   * 2019-12-15 | [[https://sinyblog.com/deaplearning/bert-001/|自然言語処理BERTの概要と実装ポイント、今後について]]
   * 2019-09-10 | [[https://xtech.nikkei.com/atcl/nxt/mag/rob/18/00007/00018/|BERT：言語理解の事前学習]] - PFN岡野原さんによるAI解説：第51回   * 2019-09-10 | [[https://xtech.nikkei.com/atcl/nxt/mag/rob/18/00007/00018/|BERT：言語理解の事前学習]] - PFN岡野原さんによるAI解説：第51回
   * 2019-07-19 | [[https://udemy.benesse.co.jp/ai/bert.html|BERTとは何か？Googleが誇る最先端技術の仕組みを解説！]]   * 2019-07-19 | [[https://udemy.benesse.co.jp/ai/bert.html|BERTとは何か？Googleが誇る最先端技術の仕組みを解説！]]
 +  * 2019-05-08 | [[https://ainow.ai/2019/05/08/166723/|BERT（バート）とは？次世代の自然言語処理の凄さやできること・書籍を紹介]]
   * 2019-03-14 | [[https://ai-scholar.tech/articles/text-mining/bert-ai-93|Googleが公開した自然言語処理の最新技術、BERTとは何者なのか]]   * 2019-03-14 | [[https://ai-scholar.tech/articles/text-mining/bert-ai-93|Googleが公開した自然言語処理の最新技術、BERTとは何者なのか]]
  
 === 関連ページ === === 関連ページ ===
-  * [[BERT2BERT]]+  * [[.bert:bert2bert]]
  
  
(感想・要望・情報提供)　
.gz · 最終更新: 2022/04/29 13:10 by admin

ページ用ツール

(広告募集)