https://www.jnlp.org/ https://www.jnlp.org/nlp/ 2026-04-30T07:49:58+00:00 https://www.jnlp.org/nlp/ https://www.jnlp.org/nlp/_media/logo.png text/html 2023-04-10T02:12:53+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%B3%E3%83%81%E3%83%A5%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0?rev=1681092773&do=diff ファインチューニング ファインチューニング(fine tuning) * 2023-02-27 | Google Colab で trlX による大規模言語モデルのファインチューニングを試す * 2023-02-26 | 2ちゃんねらーAI : 大規模言語モデルのファインチューニングの実験 * 2022-12-09 | 【AI Shift/Kaggle Advent Calendar 2022】Kaggleで学んだBERTをfine-tuningする際のTips④〜Adversarial Training編〜 * 2022-01-28 | Sentence BERTのファインチューニング手順 * 2020-04-12 | 事前学習 – ファインチューニングを理解する ファインチューニングは不安定 * 2021-03-03 | BERTのfine-tuning不安定性はどのように解決できるか？… text/html 2023-09-11T07:18:45+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/bert?rev=1694416725&do=diff BERT BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 論文<https://arxiv.org/abs/1810.04805>GitHub<https://github.com/google-research/bert> BERTとは * Bidirectional Encoder Representations from Transformers * 2018年10月にGoogleが発表した深層学習の言語モデル。 * Transformerを用いてファインチューニングに使えるパラメータを事前学習する。 text/html 2023-04-10T05:56:31+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/gpt/gpt-2?rev=1681106191&do=diff GPT-2 GPT-2 については、下記記事が一番分かりやすいと思う。 * 2021-09-28 | 図解 GPT-2 モデル gpt2-xl-japanese<https://huggingface.co/nlp-waseda/gpt2-xl-japanese>This is Japanese GPT2 with approximately　1.5B parameters pretrained on Japanese Wikipedia and CC-100 The model architecture of the model are based on Radford+ 2019. text/html 2022-09-26T04:49:11+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/sentence-bert?rev=1664167751&do=diff Sentence-BERT Sentence-BERTとは、類似文章検索のためにBERTをファインチューニングした言語モデル。SBERT と表記されることもあります。 元論文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks<https://arxiv.org/abs/1908.10084> 日本語モデル sentence-bert-base-ja-mean-tokens-v2 text/html 2022-10-22T08:23:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/roberta?rev=1666426994&do=diff RoBERTa 言語資源 Japanese RoBERTa<https://github.com/informatix-inc/bert>roberta-large-japanese<https://huggingface.co/nlp-waseda/roberta-large-japanese>roberta-long-japanese<https://huggingface.co/megagonlabs/roberta-long-japanese> 記事 * 2022-04-17 | (動画) りんな 日本語 RoBERTa の fine tuningをGoogle Colabの無料枠で試す方法【前編：ファインチューニングまで】【あざい るぅか】 * 2022-01-31 | 言語モデルRoBERTaで深層距離学習モデルを作ってみる…