===== BERT ===== BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding ^論文|https://arxiv.org/abs/1810.04805| ^GitHub|[[https://github.com/google-research/bert]]| === BERTとは === * Bidirectional Encoder Representations from Transformers * 2018年10月に[[企業:google|Google]]が発表した[[人工知能:深層学習]]の[[:言語モデル]]。 * [[transformer]]を用いて[[ファインチューニング]]に使えるパラメータを事前学習する。 * 2020年７月の現在では5000近くの論文で引用されています。 * 文章読解のベンチマーク[[質問応答:squad]]1.1で人間の精度を初めて超えた。多くのタスクで(当時)最高精度を出した。 * 2023-04-19 | [[https://hiroyukichishiro.com/bert-pre-training-of-deep-bidirectional-transformers-for-language-understanding/|【日本語訳】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding【グーグル】]] === 日本語モデル === * 2021-08-25 | [[https://ledge.ai/rinna-gpt-2-bert/|rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習]] * 2021-04-02 | [[https://github.com/himkt/awesome-bert-japanese|awesome-bert-japanese]] -- 日本語モデルの網羅的なまとめ * 2021-04-01 | [[https://tech.retrieva.jp/entry/2021/04/01/114943|日本語話し言葉BERTを作成、公開します！]] * 2020-12-18 | [[https://prtimes.jp/main/html/rd/p/000000015.000027192.html|オリジナル日本語版BERTモデルをさらに軽量・高速化『 Laboro DistilBERT 』を公開]] - 株式会社Laboro.AI * 2020-04-22 | [[https://github.com/BandaiNamcoResearchInc/DistilBERT-base-jp/blob/main/docs/GUIDE.md|Wikipedia日本語版全文を学習したDistilBERTモデル]] * [[http://nlp.ist.i.kyoto-u.ac.jp/index.php?BERT%E6%97%A5%E6%9C%AC%E8%AA%9EPretrained%E3%83%A2%E3%83%87%E3%83%AB|BERT日本語Pretrainedモデル]] * [[https://github.com/cl-tohoku/bert-japanese#pretrained-japanese-bert-models|Pretrained Japanese BERT models]] * [[https://qiita.com/kenta1984/items/6dc327c31b6c36e66863|大規模日本語SNSコーパスによる文分散表現モデルの公開 : hottoSNS-BERTの配布]] === 高速化 === * 2022-08-16 | [[https://www.yurui-deep-learning.com/2022/08/16/hugging-face_bert_torch_tensorrt/|Hugging FaceのBERTモデルの推論をTorch TensorRTで高速化]] === 作る === * 2021-12-27 | [[https://tech.retrieva.jp/entry/2021/12/27/110000|BERTでの語彙追加~add_tokenに気をつけろ!~]] === やってみた === * 2022-08-14 | [[https://zenn.dev/robes/articles/fd3315881f8874|【自然言語処理】BERTを使って歌詞をベクトルに変換し可視化する]] * 2022-07-06 | [[https://zenn.dev/schnell/articles/4acc48c49eb8eb|【自然言語処理】BERTの単語ベクトルで「王+女-男」を計算してみる]] * 2021-11-23 | [[https://qiita.com/Axross_SBiv/items/c402ff256204b759785b|BERT を活用したレシピ紹介]] * 2021-09-17 | [[https://qiita.com/neonsk/items/27424d6122e00fe632b0|自然言語処理で注目のBERT ~取り敢えず動かしてみる編~]] * 2021-08-13 | [[https://tech-blog.optim.co.jp/entry/2021/08/13/100000|WebAssemblyを用いてBERTモデルをフロントエンドで動かす]] * 2021-08-07 | [[https://qiita.com/koei_miwa/items/dc8bf7f4496b844fc3d5|BERTによる自然言語処理についてモデルを組んで確認してみた]] * 2021-08-04 | [[https://qiita.com/kota9/items/c733748558e001d1e4a5|BERTで英検を解く]] * 2021-06-03 | [[https://zenn.dev/hpp/articles/d347bcb7ed0fc0|BERTの埋め込み空間の可視化を最速で]] * 2021-03-28 | [[https://qiita.com/2zn01/items/16f0227a8bb1923b428d|Googleが誇る自然言語処理モデル「BERT」のAIを簡単に作れるWebアプリを作ってみた]] * 2020-11-27 | [[https://tech.retrieva.jp/entry/2020/11/27/111202|とりあえず動かしてみる自然言語処理入門　~ BERT MLM 編 ~]] * 2020-10-16 | [[https://qiita.com/kenta1984/items/7f3a5d859a15b20657f3|【PyTorch】BERTの使い方 - 日本語pre-trained modelsをfine tuningして分類問題を解く]] * 2020-10-12 | [[http://cedro3.com/ai/bert-pretrained-model/|BERTにセンター試験や文章生成をやらせてみる]] === 記事 === * 2023-09-11 | [[https://xrcloud.jp/blog/articles/business/12250/|BERTをわかりやすく解説！日本語版の使い方や他自然言語モデルとの比較まで]] * 2023-06-11 | (動画) [[https://www.youtube.com/watch?v=kL-QhhVgqr0|【BERTによる自然言語処理入門#1】自然言語処理入門]] * 2022-09-14 | [[https://atmarkit.itmedia.co.jp/ait/articles/2209/14/news007.html|汎用自然言語モデル「BERT」は、どんな仕組みで動いているのか？　コンピュータの文脈理解について解説]] * 2022-08-24 | [[https://note.com/satoshisgarage/n/na14f38db2b61|Googleの言語モデルBERTからアルゴリズムを妄想してみた]] * 2022-08-19 | [[https://blog.tech-monex.com/entry/2022/08/19/183846|BERT 自然言語解析手法の変遷について]] * 2022-03-09 | [[https://coosy.co.jp/blog/seo-bert/|BERTとは？仕組みやSEOで意識するべきこと]] * 2022-01-13 | [[https://zuuonline.com/archives/235586|BERTとは？ Googleによる自然言語処理の最新技術と検索、言語ビジネスへの影響]] * 2021-12-07 | [[https://aismiley.co.jp/ai_news/bert/|Googleが誇る「BERT」とは？次世代の自然言語処理の特徴を解説]] * 2021-10-12 | [[https://tech.retrieva.jp/entry/2021/10/12/130850|BERTを用いた教師なし文表現]] * 2021-08-23 | [[https://japan.techrepublic.com/article/35175167.htm|言語理解AIの仕組みと使い方--「BERT」「GPT-3」はどう使うのか？]] * 2021-07-30 | (動画) [[https://www.youtube.com/watch?v=IaTCGRL41_k|【深層学習】BERT - 実務家必修。実務で超応用されまくっている自然言語処理モデル【ディープラーニングの世界vol.32】#110 #VRアカデミア #DeepLearning]] * 2021-07-06 | [[https://towardsdatascience.com/how-to-train-a-bert-model-from-scratch-72cfce554fc6|How to Train a BERT Model From Scratch]] * 2021-06-08 | [[https://aizine.ai/bert-0608/|自然言語処理で必須の存在である「BERT」とは！概要〜実装まで解説]] * 2021-03-17 | (スライド) [[https://speakerdeck.com/omitakahiro/bertwoyong-itazi-ran-yan-yu-chu-li-purodakutofalsekai-fa-yun-yong|BERTを用いた自然言語処理プロダクトの開発・運用]] * 2021-01-08 | [[https://www.enoki.ifocus-network.com/tech-6/|BERTを使用した文章ベクトル作成]] * 2020-11-20 | [[https://ai-scholar.tech/articles/natural-language-processing/sbert-wk|捨ててしまうのはもったいない！BERTの出力を組み合わせて文ベクトルを作るSBERT-WK]] * 2020-11-05 | [[https://medium.com/axinc/bert-%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%82%92%E5%8A%B9%E7%8E%87%E7%9A%84%E3%81%AB%E5%AD%A6%E7%BF%92%E3%81%99%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%83%A2%E3%83%87%E3%83%AB-3a9c27d78cf8|BERT : 自然言語処理を効率的に学習する機械学習モデル]] * 2020-11-02 | (動画) [[https://www.youtube.com/watch?v=wPvRJXpLEyg|BERTによる自然言語処理を学ぼう!【 Live!人工知能 #26】]] * 2020-10-03 | [[https://tma15.github.io/blog/2020/10/03/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86-%E3%81%82%E3%81%AA%E3%81%9F%E3%81%AEbert%E3%81%AB%E5%AF%BE%E3%81%99%E3%82%8Bfine-tuning%E3%81%AF%E3%81%AA%E3%81%9C%E5%A4%B1%E6%95%97%E3%81%99%E3%82%8B%E3%81%AE%E3%81%8B-%E8%AB%96%E6%96%87%E7%B4%B9%E4%BB%8B/|【自然言語処理】 あなたのBERTに対するfine-tuningはなぜ失敗するのか 【論文紹介】]] * 2020-09-30 | [[https://xtech.nikkei.com/atcl/nxt/column/18/00001/04558/|自然言語処理AIの革命児「BERT」、金融分野で期待が高まる理由]] * 2020-09-25 | [[https://qiita.com/H_Ny/items/5d0ed581ef01309f5c72|3行のコードでBERTによるテキスト分類ができる時代]] * 2020-09-21 | [[https://www.datasciencecentral.com/profiles/blogs/is-bert-always-the-better-cheaper-faster-answer-in-nlp-apparently|Is BERT Always the Better Cheaper Faster Answer in NLP? Apparently Not.]] * 2020-09-10 | [[https://service.plan-b.co.jp/blog/seo/21067/|Googleが導入したBERTとは？誰でもわかるBERTの特徴を解説]] * 2020-09-05 | [[https://deepsquare.jp/2020/09/bert/|自然言語処理の必須知識 BERT を徹底解説！]] * 2020-08-12 | [[https://qiita.com/omiita/items/72998858efc19a368e50|自然言語処理の王様「BERT」の論文を徹底解説]] * 2020-08-04 | (動画) [[https://www.youtube.com/watch?v=T9ciPcPgVW4|Googleの人工知能アルゴリズム「BERT」とは何か？その意味を解説]] * 2020-07-31 | (スライド) [[https://www.slideshare.net/ssuser0c8361/bert-interprettext-nlp|BERT の解剖学: interpret-text による自然言語処理 (NLP) モデル解釈]] * 2020-07-16 | [[https://data-analytics.fun/2020/07/16/understanding-layer-normalization/|Layer Normalizationを理解する]] * 2020-06-25 | [[https://digiful.irep.co.jp/blog/30212082371|検索エンジンに導入されたBERTとは？対策は必要？]] * 2020-06-12 | [[https://ledge.ai/bert/|BERTとは｜Googleが誇る自然言語処理モデルの特徴、仕組みを解説]] * 2020-06-01 | [[https://ai-scholar.tech/articles/natural-language-processing/bert-BERTology-MLM-NSP-google|Googleが開発した自然言語処理の看板技術BERTの研究はどこまで進んでいる? BERTologyの最前線]] - AI-SCHOLAR * 2020-05-16 | [[https://qiita.com/YuiKasuga/items/343309257da1798c1b63|BERTの精度を向上させる手法10選]] - Qiita * 2020-04-17 | [[https://developers-jp.googleblog.com/2020/04/tensorflowjs-bert.html|ブラウザと Tensorflow.js を使った BERT の活用方法を考える]] * 2020-04-13 | [[https://qiita.com/kazuki_hayakawa/items/5d95472c561d94fda361|BERT + LightGBM + optuna で手軽に自然言語処理モデルを構築する]] - [[データ:livedoorニュースコーパス]], [[人工知能:lightgbm]] - Qiita * 2019-12-15 | [[https://sinyblog.com/deaplearning/bert-001/|自然言語処理BERTの概要と実装ポイント、今後について]] * 2019-09-10 | [[https://xtech.nikkei.com/atcl/nxt/mag/rob/18/00007/00018/|BERT：言語理解の事前学習]] - PFN岡野原さんによるAI解説：第51回 * 2019-07-19 | [[https://udemy.benesse.co.jp/ai/bert.html|BERTとは何か？Googleが誇る最先端技術の仕組みを解説！]] * 2019-05-08 | [[https://ainow.ai/2019/05/08/166723/|BERT（バート）とは？次世代の自然言語処理の凄さやできること・書籍を紹介]] * 2019-03-14 | [[https://ai-scholar.tech/articles/text-mining/bert-ai-93|Googleが公開した自然言語処理の最新技術、BERTとは何者なのか]] === 関連ページ === * [[.bert:bert2bert]]