https://www.jnlp.org/ https://www.jnlp.org/nlp/ 2026-04-30T06:29:12+00:00 https://www.jnlp.org/nlp/ https://www.jnlp.org/nlp/_media/logo.png text/html 2023-04-10T02:12:53+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%B3%E3%83%81%E3%83%A5%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0?rev=1681092773&do=diff ファインチューニング ファインチューニング(fine tuning) * 2023-02-27 | Google Colab で trlX による大規模言語モデルのファインチューニングを試す * 2023-02-26 | 2ちゃんねらーAI : 大規模言語モデルのファインチューニングの実験 * 2022-12-09 | 【AI Shift/Kaggle Advent Calendar 2022】Kaggleで学んだBERTをfine-tuningする際のTips④〜Adversarial Training編〜 * 2022-01-28 | Sentence BERTのファインチューニング手順 * 2020-04-12 | 事前学習 – ファインチューニングを理解する ファインチューニングは不安定 * 2021-03-03 | BERTのfine-tuning不安定性はどのように解決できるか？… text/html 2023-06-10T06:13:08+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%83%9E%E3%82%A4%E3%83%8B%E3%83%B3%E3%82%B0/%E8%82%AF%E5%90%A6%E5%88%86%E6%9E%90?rev=1686377588&do=diff 肯否分析 肯否分析とは テキストに書かれている内容が肯定的なのか否定的なのかを分析すること。ポジネガ判定（ネガポジ判定）、極性判定などとも呼ばれる。 英語では Sentiment Analysis。 text/html 2022-08-11T06:11:01+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%A9%9F%E6%A2%B0%E7%BF%BB%E8%A8%B3?rev=1660198261&do=diff 機械翻訳 コーパス・アノテーション * アノテーションを参照 機械翻訳モデル * 2020-10-19 | The first AI model that translates 100 languages without relying on English data - Facebook 機械翻訳を作る・研究する * 2022-07-21 | Discordのチャットbotでニューラル機械翻訳を試そう　「JoeyNMT」のカスタマイズについても解説 * 2022-06-04 | fairseq によるニューラル機械翻訳演習 -- Google Colab * 2022-04-16 | 【採用論文解説】Teacher-forcingによる精度の劣化を緩和する手法 * 2022-04-04 | 世界最高の翻訳サービスを個人で開発した話【meta翻訳】 * 2021-12-24 |… text/html 2023-06-15T08:00:24+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%88%86%E9%A1%9E?rev=1686816024&do=diff 分類 二値分類・フィルタリング * 肯否分析も参照のこと。 * 2021-12-25 | 【自然言語処理】プリンを含む文がポケモンかどうか分類してみた * 2021-02-05 | 作業報告書から重大なミスを発見　自然言語処理で解決 自動生成の判別 * 2023-03-25 | AI文章の見分け方【解析判定ツール】使い方（AI Text Classifier） その他 * 2023-06-14 | BERTで日本語文章をゼロショット分類してみる * 2022-12-22 | 現状最強？と噂の高性能言語モデル「LUKE」で日本語ニュース分類 * 2022-05-02 | 日本語ニュース分類から見る多言語モデル * 2021-06-15 | Implement and Train Text Classification Transformer Models — the Easy Way * 2021-06-10 |… text/html 2023-04-08T04:07:53+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E3%83%9E%E3%82%A4%E3%83%8B%E3%83%B3%E3%82%B0/%E6%84%9F%E6%83%85%E5%88%86%E6%9E%90?rev=1680926873&do=diff 感情分析 感情分析とは テキストの感情分析とは、そのテキストを書いた人の感情（怒っているとか寂しそうとか）を推測する作業。感情推定も同義。英語では sentiment analysis。 * 現状の text/html 2023-09-11T07:18:45+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/bert?rev=1694416725&do=diff BERT BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 論文<https://arxiv.org/abs/1810.04805>GitHub<https://github.com/google-research/bert> BERTとは * Bidirectional Encoder Representations from Transformers * 2018年10月にGoogleが発表した深層学習の言語モデル。 * Transformerを用いてファインチューニングに使えるパラメータを事前学習する。 text/html 2023-07-18T08:11:00+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB?rev=1689667860&do=diff 言語モデル 言語モデルとは 言語表現に対する確率分布のこと。任意の言語表現を入力すると、その表現がその言語でどの程度自然か、あるいはよく見かけるかを確率の形で出力する。 最近では text/html 2023-04-10T05:56:31+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/gpt/gpt-2?rev=1681106191&do=diff GPT-2 GPT-2 については、下記記事が一番分かりやすいと思う。 * 2021-09-28 | 図解 GPT-2 モデル gpt2-xl-japanese<https://huggingface.co/nlp-waseda/gpt2-xl-japanese>This is Japanese GPT2 with approximately　1.5B parameters pretrained on Japanese Wikipedia and CC-100 The model architecture of the model are based on Radford+ 2019. text/html 2023-04-10T02:24:43+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/luke?rev=1681093483&do=diff LUKE LUKE (Language Understanding with Knowledge-based Embeddings) is a new pretrained contextualized representation of words and entities based on transformer. LUKE<https://github.com/studio-ousia/luke> * 2023-03-02 | 言語モデルLUKEをJGLUE/MARC-jaでファインチューニングして公開してみた * 2023-02-18 | CNNと自然言語モデルLUKEの組み合わせによる正答率の向上について * 2023-01-18 | 最強の言語モデルLUKEを固有表現抽出（NER）用にファインチューニングして公開してみた * 2023-01-16 | 最強の言語モデル(LUKE)をQAタスク用にファインチューニングして公開してみた * 2022-11-08 |… text/html 2022-09-26T04:49:11+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/sentence-bert?rev=1664167751&do=diff Sentence-BERT Sentence-BERTとは、類似文章検索のためにBERTをファインチューニングした言語モデル。SBERT と表記されることもあります。 元論文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks<https://arxiv.org/abs/1908.10084> 日本語モデル sentence-bert-base-ja-mean-tokens-v2 text/html 2023-06-10T09:24:19+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/opencalm?rev=1686389059&do=diff OpenCALM * 2023-05-20 | cyberagent/open-calmをファインチューニングする方法について(+cyberagent/open-calmに関しての解説) * 2023-05-18 | 68億パラメータ日本語LLMが登場！サイバーエージェントが公開したモデルを試してみた！和製ChatGPTに成り得るのか？ * 2023-05-18 | 日本語特化型の大規模言語モデル、OpenCALMとrinna/japanese-gpt-neox-3.6bの検証 * 2023-05-17 | CyberAgentの日本語LLMを動かしてみる text/html 2023-04-07T04:51:07+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/alpaca?rev=1680843067&do=diff Alpaca Alpaca for iPhone<https://github.com/antimatter15/AlpacaChat> * 2023-03-20 | 手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA) text/html 2023-01-29T07:38:27+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/deberta?rev=1674977907&do=diff DeBERTa deberta-large-japanese-aozora<https://huggingface.co/KoichiYasuoka/deberta-large-japanese-aozora>DeBERTa(V2) model pre-trained on 青空文庫 texts * 2023-01-15 | 日本語言語モデルで現状最大規模を誇るdeberta-v2をQAタスク用にファインチューニングして公開してみた text/html 2023-07-18T08:07:38+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/rwkv?rev=1689667658&do=diff RWKV RWKVとはTransformerレベルの性能を持つ高性能な RNN。 * 2023-07-17 | 大規模言語モデル RWKV-worldで学習で巨大なデータ(学会の予稿集のpdf)をファインチューニング(LoRA)する * 2023-07-09 | 従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？ * 2023-06-14 | RWKV（Receptance Weighted Key Value）をつかってみた * 2023-04-08 | "RWKV_CUDA_ON"を1に設定してRWKVを高速化する… text/html 2022-10-22T08:23:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/roberta?rev=1666426994&do=diff RoBERTa 言語資源 Japanese RoBERTa<https://github.com/informatix-inc/bert>roberta-large-japanese<https://huggingface.co/nlp-waseda/roberta-large-japanese>roberta-long-japanese<https://huggingface.co/megagonlabs/roberta-long-japanese> 記事 * 2022-04-17 | (動画) りんな 日本語 RoBERTa の fine tuningをGoogle Colabの無料枠で試す方法【前編：ファインチューニングまで】【あざい るぅか】 * 2022-01-31 | 言語モデルRoBERTaで深層距離学習モデルを作ってみる…