https://www.jnlp.org/ https://www.jnlp.org/nlp/ 2026-04-29T12:32:49+00:00 https://www.jnlp.org/nlp/ https://www.jnlp.org/nlp/_media/logo.png text/html 2022-01-15T07:18:53+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/albert?rev=1642231133&do=diff ALBERT モデル * 2021-12-20 | 日本語事前学習済みALBERTモデルを公開します 記事 * 2021-06-20 | ALBERTを使った日本語QAモデルを作りたかった * 2019-12-24 | Googleの新たな自然言語処理モデル「ALBERT」はどのように進化したのか？ text/html 2021-06-20T03:16:07+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/bag_of_words?rev=1624158967&do=diff Bag of Words * 2020-12-14 | Pythonで「Bag Of Words」を使い文章の類似度を調べる【自然言語処理】 - 類似度 * 2020-09-29 | Pythonで始める自然言語処理の基礎の基礎 * 2018-03-21 | Bag of Wordsについて書いてみる text/html 2023-01-29T07:19:43+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/bart?rev=1674976783&do=diff BART BARTはBERTをSequence-to-Sequence(seq2seq)の形にしたもの。 * 2023-01-24 | 日本語ビジネスニュースコーパスを学習したBART事前学習済モデルの紹介 * 2022-10-31 | BARTで日本語を抽象型要約してみた(fairseq) * 2021-03-19 | 【論文解説】BARTを理解する text/html 2023-09-11T07:18:45+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/bert?rev=1694416725&do=diff BERT BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 論文<https://arxiv.org/abs/1810.04805>GitHub<https://github.com/google-research/bert> BERTとは * Bidirectional Encoder Representations from Transformers * 2018年10月にGoogleが発表した深層学習の言語モデル。 * Transformerを用いてファインチューニングに使えるパラメータを事前学習する。 text/html 2021-06-20T04:33:27+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/bigbird?rev=1624163607&do=diff BigBird * 2020-08-03 | Google ‘BigBird’ Achieves SOTA Performance on Long-Context NLP Tasks - Google text/html 2023-04-08T03:45:56+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/bloom?rev=1680925556&do=diff BLOOM * 2023-03-03 | 実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？ * 2022-07-12 | 🌸 Introducing The World's Largest Open Multilingual Language Model: BLOOM 🌸 text/html 2022-04-29T05:41:24+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/byt5?rev=1651210884&do=diff ByT5 * 2021-10-20 | 第17回 ByT5 と Charformer の検証 * 2021-07-30 | Googleがトークンフリー言語モデルByT5をオープンソース化 text/html 2023-01-29T08:14:11+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/chitra?rev=1674980051&do=diff chiTra * 2022-12-20 | 事前学習モデル (chiTra) の文分割処理について * 2022-11-28 | AutoTokenizer で chiTra トークナイザを読み込む * 2022-02-25 | chiTra事前学習モデルを使って評判分析を行う text/html 2021-10-02T03:06:18+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/ernie?rev=1633143978&do=diff ERNIE Enhanced Representation through kNowledge IntEgration (ERNIE) * 2021-08-03 | BaiduのERNIE 3.0 AIモデルが、言語理解ベンチマークで人間のパフォーマンスを超えた * バイドゥのAI技術、言葉を理解する自然言語処理モデルを開発 - baidu text/html 2023-04-08T03:44:01+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/flan?rev=1680925441&do=diff FLAN Finetuned LAnguage Net (FLAN) とはGoogleのゼロショット学習モデルの名称。 * 2023-03-04 | Google の FLAN-20B with UL2 を動かしてChatGPT APIのように使ってみる！ * 2022-05-23 | 言語モデルのZero-Shot性能を高めるFine-Tuning * 2021-12-18 | Googleのゼロショット学習モデル FinetunedLAnguage Net（FLAN）を紹介！ text/html 2022-01-15T06:19:25+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/glam?rev=1642227565&do=diff GLaM * 2022-01-04 | GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2) text/html 2022-04-29T05:44:42+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/gopher?rev=1651211082&do=diff Gopher * 2022-01-24 | Googleが2800億パラメータのAI言語モデル”Gopher”をトレーニング text/html 2022-04-29T05:26:55+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/instructgpt?rev=1651210015&do=diff InstructGPT * 2022-01-31 | GPT-3の改良版が登場、フィードバックで「好ましい文章」生成 * 2022-01-28 | 人間と見分けがつかないほど自然な文章を書けるAI「GPT-3」の改良版AI「InstructGPT」一般公開、詩も執筆可能 text/html 2022-04-29T05:24:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/lamda?rev=1651209854&do=diff LaMDA * 2021-05-19 | Googleが自然な会話を実現する対話特化型AI「LaMDA」を発表、LaMDAが冥王星や紙飛行機になりきって会話するデモも公開 * 2021-05-18 | LaMDA: our breakthrough conversation technology text/html 2023-04-07T04:56:24+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/line_distilbert?rev=1680843384&do=diff LINE DistilBERT * 2023-03-13 | 高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました text/html 2023-06-19T07:38:17+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/lstm?rev=1687160297&do=diff LSTM * 2023-06-18 | (動画) 【BERTによる自然言語処理入門#3】RNNとLSTM * 2021-12-07 | 自然言語処理に使われるLSTMとは？RNNとの違いや特徴を紹介 * 2021-11-22 | LSTM で文章生成 * 2021-08-31 | ビーフストロガノフはどのくらい強いのか * 2021-03-28 | 双方向LSTM（Bidirectional LSTM）の実装 * 2020-12-21 | 【GRU,RNN,LSTM】作家の作品をもとに作家らしい文章生成をしてみよう * 2020-12-12 | 【自然言語処理】Deep Learningを使ってアンジャッシュ渡部のAIを作る【RNN】 * 2020-11-10 | RNN_LSTM2　自然言語処理 * 2020-08-31 | LSTMによる迷惑メール判定 * 2020-05-11 | 【AI】LSTMでサンドウィッチマンの漫才を学習して予測させてみた * 2020-02-23 | Keras LSTMでアイドルっぽいツイートを作ってみる（… text/html 2022-01-15T06:06:28+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/mt-nlg?rev=1642226788&do=diff MT-NLG * 2022-01-09 | パラメーター数は約5300億――MicrosoftとNVIDIAが生んだ自然言語生成モデル「MT-NLG」 text/html 2022-04-29T05:28:05+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/mum?rev=1651210085&do=diff MUM （Multitask United Model） * 2021-07-13 | Google I/O 2021で発表されたMUMとは？SEO担当者が知っておくべきこと * 2021-06-18 | BERTの1000倍強力。Googleの新検索アルゴリズム『MUM』で検索体験はどう変わる？ text/html 2023-01-29T08:46:49+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/n-gram?rev=1674982009&do=diff n-gram * 2022-10-05 | (自然言語処理+機械学習)の備忘録 #1 -N-gram- * 2022-06-02 | Kneser-NeyスムージングによるN-gram言語モデルを実装してミニマリズム言語トキポナを学習させる話 * 2022-05-02 | ngram言語モデルについてまとめる (neural language model) * 2022-04-18 | ngram言語モデルについてまとめる (Interpolated Kneser–Ney smoothing) * 2022-02-28 | ngram言語モデルについてまとめる (ヘルドアウト推定・Good-Turing) * 2022-02-15 | ngram言語モデルについてまとめる (add-one) * 2021-04-28 | 自然言語処理ー形態素解析２　N-gram * 2021-02-10 | 【自然言語処理】N-gramの概要とpythonでの実装方法について * 2020-10-30 | 自然言語処理3　単語の連続性 * 2020-09-16… text/html 2022-04-29T05:58:52+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/pegasus?rev=1651211932&do=diff PEGASUS PEGASUSとは Pretraining with Extracted Gap-sentences for Abstractive SUmmarization Sequence-to-sequence modelsの略称。Gap Sentences Generation(GSG)という新たな学習タスク以外はBERTと同様。 記事 * 2020-02-07 | 「PEGASUS」文章要約に特化した自然言語処理モデル登場！ - AI-SCHOLAR text/html 2021-06-20T04:41:39+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/prophetnet?rev=1624164099&do=diff ProphetNet * 2021-03-25 | 事前学習の改善で自然言語処理の精度向上｜Transformerベースのモデル「ProphetNet」 text/html 2021-07-17T03:08:30+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/reformer?rev=1626491310&do=diff Reformer Reformerとは 長文処理を行うTransformerの改良版。省メモリ。 記事 * 2020-06-17 | Reformerを理解する * 2020-03-15 | Reformerによる文章生成を日本語で行う（試行錯誤編） text/html 2022-04-29T05:26:05+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/retro?rev=1651209965&do=diff RETRO * 2021-12-13 | ディープマインドが言語モデル「RETRO」発表、訓練コストを大幅削減 text/html 2022-08-11T06:15:46+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/rnn?rev=1660198546&do=diff RNN * 2022-07-28 | 【超図解】自然言語処理(NLP)のRNNLMをわかりやすく、そして深く解説 * 2021-12-07 | 自然言語処理で一躍脚光を浴びたRNNとは？初心者に優しく解説！ * 2021-10-29 | (動画) 【Deep Learning研修（発展）】系列データモデリング (RNN / LSTM / Transformer)　第１回「イントロダクション」 * 2021-10-03 | RNNLM(再帰型ニューラル言語モデル) * 2021-02-17 | RNNでテキスト生成やってみた！（自然言語処理）【図解速習DeepLearning】#015 * 2021-01-08 | (動画) 【深層学習】RNNLM - 自然言語処理に革命を起こした RNN について【ディープラーニングの世界 vol. 20】#087 #VRアカデミア #DeepLearning * 2020-11-10 | RNN_LSTM2　自然言語処理… text/html 2022-10-22T08:23:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/roberta?rev=1666426994&do=diff RoBERTa 言語資源 Japanese RoBERTa<https://github.com/informatix-inc/bert>roberta-large-japanese<https://huggingface.co/nlp-waseda/roberta-large-japanese>roberta-long-japanese<https://huggingface.co/megagonlabs/roberta-long-japanese> 記事 * 2022-04-17 | (動画) りんな 日本語 RoBERTa の fine tuningをGoogle Colabの無料枠で試す方法【前編：ファインチューニングまで】【あざい るぅか】 * 2022-01-31 | 言語モデルRoBERTaで深層距離学習モデルを作ってみる… text/html 2022-09-26T04:49:11+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/sentence-bert?rev=1664167751&do=diff Sentence-BERT Sentence-BERTとは、類似文章検索のためにBERTをファインチューニングした言語モデル。SBERT と表記されることもあります。 元論文 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks<https://arxiv.org/abs/1908.10084> 日本語モデル sentence-bert-base-ja-mean-tokens-v2 text/html 2021-06-20T03:14:29+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/seq2seq?rev=1624158869&do=diff seq2seq 記事 * 2021-05-04 | 自然言語処理　Seq2Seq＆TransFormer（Sequence to Sequence & TransFormer） * 2020-06-18 | Machine translation with the seq2seq model: Different approaches - 機械翻訳 * 2020-03-24 | 継続学習＋言語処理の最先端！Compositionalityを用いたSequence-to-Sequenceモデル！ - AI-SCHOLAR text/html 2023-01-29T07:50:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/switch_transformer?rev=1674978614&do=diff Switch Transformer GPTSAN<https://github.com/tanreinama/GPTSAN>なんにでも使える汎用日本語言語モデルを目指して作成したSwitch Transformerモデルです。 * 2021-02-22 | Google BrainのSwitch Transformer言語モデル、16兆個のパラメータに到達 text/html 2022-04-29T05:40:20+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/t0?rev=1651210820&do=diff T0 * 2021-12-02 | BigScience Research Workshop、AI言語モデルのT0をリリース text/html 2022-12-09T07:29:22+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/t5?rev=1670570962&do=diff T5 モデル * 2021-09-11 | t5-base-japanese-web (with Byte-fallback, 8K) - T5 (Text-to-Text Transfer Transformer) model pre-trained on Japanese web texts. * 2021-04-06 | 【日本語モデル付き】2021年に自然言語処理をする人にお勧めしたい事前学習済みモデル mT5 T5の多言語版。 * (PDF) mT5: A massively multilingual pre-trained text-to-text transformer FLAN-T5 FLAN-T5 XXL<https://huggingface.co/google/flan-t5-xxl> * 2022-11-11 | 【無料】GPT-3レベルのGoogle製Flan-T5を利用する方法 * 2022-10-28 | Googleの新しい言語モデルのFlan-T5のデモが公開されたので色々と質問してみた * 2022-10-23 |… text/html 2022-04-29T05:28:49+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/top?rev=1651210129&do=diff （ページ名が全部小文字化されているのはDokuWikiの仕様なのでご容赦ください） この名前空間のページ： * albert * bag_of_words * bart * bert * bigbird * bloom * byt5 * chitra * ernie * flan * glam * gopher * instructgpt * lamda * line_distilbert * lstm * mt-nlg * mum * n-gram * pegasus * prophetnet * reformer * retro * rnn * roberta * sentence-bert text/html 2023-06-26T08:57:27+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/transformer?rev=1687769847&do=diff Transformer Transformerとは * 機械翻訳を行うために提案された。 * attentionのみを用いたモデルで、再帰も畳み込みも一切使わない。 * 並列化がかなりしやすく訓練時間が圧倒的に削減でき、他のタスクにも汎用性が高い。 text/html 2022-04-29T05:14:58+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/xglm?rev=1651209298&do=diff XGLM * 2022-02-01 | 多言語モデルXGLMによる日本語テキストの自動生成 text/html 2023-04-10T02:12:53+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%B3%E3%83%81%E3%83%A5%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0?rev=1681092773&do=diff ファインチューニング ファインチューニング(fine tuning) * 2023-02-27 | Google Colab で trlX による大規模言語モデルのファインチューニングを試す * 2023-02-26 | 2ちゃんねらーAI : 大規模言語モデルのファインチューニングの実験 * 2022-12-09 | 【AI Shift/Kaggle Advent Calendar 2022】Kaggleで学んだBERTをfine-tuningする際のTips④〜Adversarial Training編〜 * 2022-01-28 | Sentence BERTのファインチューニング手順 * 2020-04-12 | 事前学習 – ファインチューニングを理解する ファインチューニングは不安定 * 2021-03-03 | BERTのfine-tuning不安定性はどのように解決できるか？… text/html 2023-08-16T08:21:23+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB/%E3%83%97%E3%83%AD%E3%83%B3%E3%83%97%E3%83%88?rev=1692174083&do=diff プロンプト プロンプト(prompt)とは、言語モデルに与える入力のこと。効率的なプロンプトを開発することをプロンプトエンジニアリング(prompt engineering)と呼ぶ。 * 2023-08-15 | 大規模言語モデルのセーフガードを故意に突破する「脱獄プロンプト」とは * 2023-08-14 |