https://www.jnlp.org/ https://www.jnlp.org/nlp/ 2026-05-04T02:51:01+00:00 https://www.jnlp.org/nlp/ https://www.jnlp.org/nlp/_media/logo.png text/html 2022-02-27T02:00:05+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/5w1h%E6%8A%BD%E5%87%BA?rev=1645927205&do=diff 5W1H抽出 記事 * 2018-10-30 | NTT40年の自然言語処理技術を結集して「いつどこで誰が何をどうしたゲーム」を作った 【Python & Webスクレイピング & COTOHA API】 * 2020-06-08 | 【第1回】5W1H抽出AI 方針の策定と形態素解析ソフト(MeCab)のセットアップ text/html 2022-08-11T05:56:29+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/abeja?rev=1660197389&do=diff ABEJA * 2022-07-27 | ABEJAで作った大規模GPTモデルとその道のり text/html 2023-04-07T04:51:07+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/alpaca?rev=1680843067&do=diff Alpaca Alpaca for iPhone<https://github.com/antimatter15/AlpacaChat> * 2023-03-20 | 手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA) text/html 2023-01-29T07:10:58+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/automation_360?rev=1674976258&do=diff Automation 360 * 2023-01-26 | Automation 360で、簡単に自然言語処理を使ってみる。 [Automation360 × Amazon Comprehend] text/html 2023-06-10T09:23:26+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/bard?rev=1686389006&do=diff Bard * 2023-05-11 | 【性能比較】日本語対応したBard(バード)とGPT-4の出力を比較してみた * 2023-05-11 | 【速報】Google Bardが日本語対応可能になったので利用したら、いろいろ残念だった件。【AIのお悩み相談ラボ 番外編 #5】 * 2023-05-11 | 日本語対応したGoogle「Bard」「ChatGPT」と生成系AI対決　同じ質問で比較してみた　驚愕の回答も * 2023-03-22 | グーグル、チャットGPT対抗の「Bard」を米英で一般公開… text/html 2021-05-03T05:16:51+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/book?rev=1620019011&do=diff text/html 2021-06-20T04:50:19+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/call_for_ad?rev=1624164619&do=diff text/html 2023-06-10T08:29:44+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/claude?rev=1686385784&do=diff Claude * 2023-05-12 | Anthropicのテキスト生成AI「Claude」がOpenAIのGPT-4の約3万2000トークンの3倍近い10万トークンに対応して長文の入力も可能に text/html 2021-03-28T03:52:01+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/core_ml?rev=1616903521&do=diff Core ML * 2020-10-04 | [CoreML]テキスト分類モデルの作成方法 text/html 2023-01-29T07:38:27+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/deberta?rev=1674977907&do=diff DeBERTa deberta-large-japanese-aozora<https://huggingface.co/KoichiYasuoka/deberta-large-japanese-aozora>DeBERTa(V2) model pre-trained on 青空文庫 texts * 2023-01-15 | 日本語言語モデルで現状最大規模を誇るdeberta-v2をQAタスク用にファインチューニングして公開してみた text/html 2023-06-10T06:58:01+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/dolly?rev=1686380281&do=diff Dolly * 2023-05-09 | 大規模言語モデル(LLM)Dollyをパラメーター数を変えて動かしてみた * 2023-04-14 | dolly-v2-12bという120億パラメータの言語モデルを使ってみた! * 2023-04-13 | 無料・商用利用可なオープンソースの大規模言語モデル Dolly 2.0(dolly-v2-12b) を試してみた * 2023-04-13 | 無料で商用利用も可能なオープンソースの大規模言語モデル「Dolly 2.0」をDatabricksが発表 text/html 2023-07-05T04:51:25+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/e5?rev=1688532685&do=diff E5 EmbEddings from bidirEctional Encoder rEpresentations * 2023-07-05 | OpenAIの埋め込みよりも高性能？多言語E5を日本語で評価してみる text/html 2021-05-03T06:22:27+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/entity_linking?rev=1620022947&do=diff Entity Linking エンティティリンキングについてのページ * 2021-04-29 | Entity Linking チュートリアル 前編　ざっくりとした歴史編 * 2021-03-29 | Entity Linkingチュートリアル　後編　実験・評価編 text/html 2023-04-10T02:13:47+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/flexgen?rev=1681092827&do=diff FlexGen * 2023-03-09 | 大規模言語モデルOPTをM1/M2 Mac上のFlexGenで動かしてチャットする * 2023-02-28 | FlexGen で opt-66b を動かすメモ * 2023-02-28 | FlexGenをGoogle Colaboratoryで動かす * 2023-02-26 | 自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす * 2023-02-25 | 1つのGPUでも大規模言語モデルを動かせる！FlexGenの革新的な技術とは？ * 2023-02-24 | 大規模言語モデルをシングルGPUで動かせる!? FlexGenを触ってみた… text/html 2022-05-22T01:53:21+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/gcn?rev=1653184401&do=diff GCN GCN(Graph Convolutional Network)は深層学習をグラフに適用する手法。GCNs とも呼ぶ。 * 2018-08-31 | Graph Convolutionを自然言語処理に応用する Part1 - Part2 以降もあり text/html 2022-09-14T11:59:15+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/kaggle?rev=1663156755&do=diff Kaggle * 2021-01-05 | Kaggleで自然言語処理入門 text/html 2023-07-11T09:46:34+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/langchain?rev=1689068794&do=diff Langchain * 2023-07-11 | Rinna-3.6B で LangChain を試す * 2023-06-20 | そろそろ知っておかないとヤバい？ 話題のLangChainを30分だけ触って理解しよう！ * 2023-06-14 | 【自然言語処理】LangChainとは？｜概要・主要機能を徹底解説 * 2023-05-09 | LangChainにオープンな言語モデルを組み込んでアレコレしてみる (3) ~チャットボット~ * 2023-05-07 | LangChainにオープンな言語モデルを組み込んでアレコレしてみる (1) * 2023-04-25 | (スライド) LangChain Toolsの運用と改善 * 2023-02-27 | 【勉強メモ】Langchainってなに？… text/html 2023-07-21T09:30:16+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/llama?rev=1689931816&do=diff LLaMA * 2023-07-20 | Llama 2の性能がGPT-3.5並みだというのが本当かテストしてみた * 2023-05-31 | Metaの大規模言語モデル「LLaMA」がChatGPTを再現できる可能性があるとさまざまなチャットAI用言語モデルのベンチマーク測定で判明 * 2023-03-13 | 【超簡単手順】低スペックローカルPCで大規模言語モデル「LLaMA」を動かす！ * 2023-03-07 | Metaの大規模言語モデル「LLAMA」モデルのダウンロード方法… text/html 2023-04-10T02:24:43+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/luke?rev=1681093483&do=diff LUKE LUKE (Language Understanding with Knowledge-based Embeddings) is a new pretrained contextualized representation of words and entities based on transformer. LUKE<https://github.com/studio-ousia/luke> * 2023-03-02 | 言語モデルLUKEをJGLUE/MARC-jaでファインチューニングして公開してみた * 2023-02-18 | CNNと自然言語モデルLUKEの組み合わせによる正答率の向上について * 2023-01-18 | 最強の言語モデルLUKEを固有表現抽出（NER）用にファインチューニングして公開してみた * 2023-01-16 | 最強の言語モデル(LUKE)をQAタスク用にファインチューニングして公開してみた * 2022-11-08 |… text/html 2023-06-10T06:58:57+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/mpt-7b?rev=1686380337&do=diff MPT-7B * 2023-05-08 | オープンソースで商用利用可能な言語モデル「MPT-7B」リリース、GPT-4の2倍の長さの文章を受け付ける text/html 2023-01-29T07:43:09+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/nemo?rev=1674978189&do=diff NeMo NVIDIA NeMo<https://github.com/NVIDIA/NeMo>NVIDIA NeMo is a conversational AI toolkit built for researchers working on automatic speech recognition (ASR), text-to-speech synthesis (TTS), large language models (LLMs), and natural language processing (NLP). text/html 2021-02-03T11:10:29+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/ner?rev=1612350629&do=diff text/html 2022-07-16T07:29:15+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/nllb-200?rev=1657956555&do=diff NLLB-200 * 2022-07-07 | Meta、200言語を翻訳するAI「NLLB-200」をオープンソース化 text/html 2022-02-27T04:28:12+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/ocr?rev=1645936092&do=diff OCR OCRとは 文字認識。Optical Character Recognitionのこと。コピーやスキャンは画像情報なのでどこにどんな文字があるか分からない。これを文字として認識する処理のこと。 最近、AI-OCRという言葉をよく耳にするが、何がどうAIなのか、さっぱりわからないというのが正直な感想。 text/html 2023-06-10T09:24:19+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/opencalm?rev=1686389059&do=diff OpenCALM * 2023-05-20 | cyberagent/open-calmをファインチューニングする方法について(+cyberagent/open-calmに関しての解説) * 2023-05-18 | 68億パラメータ日本語LLMが登場！サイバーエージェントが公開したモデルを試してみた！和製ChatGPTに成り得るのか？ * 2023-05-18 | 日本語特化型の大規模言語モデル、OpenCALMとrinna/japanese-gpt-neox-3.6bの検証 * 2023-05-17 | CyberAgentの日本語LLMを動かしてみる text/html 2022-07-02T01:37:37+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/opt?rev=1656725857&do=diff OPT OPT は Open Pre-trained Transformerの略で、Meta AI の大規模言語モデル。 * 2022-06-29 | Metaが1750億パラメータAI言語モデルのOPTをオープンソース化 * 2022-05-14 | Meta AI の大規模言語モデル Open Pre-trained Transformer (OPT) を使ってみた text/html 2021-01-31T04:40:03+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/osint?rev=1612068003&do=diff OSINT OSINTとは 公開情報に基づく調査(Open Source Intelligence)。新聞・雑誌・テレビ・インターネットなど、一般に公開されている情報を収集・分析することで断片的なデータの集まりから意味を持った情報を得ること。 text/html 2023-07-05T07:45:44+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/palm?rev=1688543144&do=diff PaLM * 2023-07-03 | PaLMを活用してGoogle Cloudで文章回答AIを構成してみた * 2023-05-19 | (スライド) 【論文紹介】Google. 2023. PaLM 2 Technical Report * 2023-05-16 | グーグルの新たな大規模言語モデル「PaLM 2」は何が変わったか * 2022-09-14 | 第135回　PaLM：Pathwaysによる大規模な自然言語モデルの学習例 (中井悦司) * 2022-04-29 | Googleは世界最大規模のAI言語モデル「PaLM」を開発、言葉を理解する機能が格段に向上、人間のように論理的に考えジョークのオチを説明する… text/html 2023-06-27T07:45:24+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/phi-1?rev=1687851924&do=diff phi-1 * 2023-06-23 | マイクロソフト、軽量かつ高性能な大規模言語モデル「phi-1」を発表 text/html 2023-01-29T07:18:52+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/prompt-tuning?rev=1674976732&do=diff Prompt-tuning * 2023-01-19 | 【PyTorch】GPTをPrompt-tuningしてみた text/html 2023-06-10T06:26:54+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/redpajama?rev=1686378414&do=diff RedPajama * 2023-04-18 | 無料で商用利用もOKな完全オープンソースの大規模言語モデルを開発するプロジェクト「RedPajama」がトレーニングデータセットを公開 text/html 2023-08-07T08:19:48+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/retnet?rev=1691396388&do=diff RetNet * 2023-07-26 | 【勉強メモ】RetNet: 大規模言語モデル用の Transformer の後継について説明　RetNet: A Successor to Transformer for Large Language Models Explained text/html 2023-07-18T08:07:38+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/rwkv?rev=1689667658&do=diff RWKV RWKVとはTransformerレベルの性能を持つ高性能な RNN。 * 2023-07-17 | 大規模言語モデル RWKV-worldで学習で巨大なデータ(学会の予稿集のpdf)をファインチューニング(LoRA)する * 2023-07-09 | 従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？ * 2023-06-14 | RWKV（Receptance Weighted Key Value）をつかってみた * 2023-04-08 | "RWKV_CUDA_ON"を1に設定してRWKVを高速化する… text/html 2023-04-07T05:07:49+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/shortcut_learning?rev=1680844069&do=diff shortcut learning * 2023-03-07 | 自然言語処理の深層学習においてshortcut learningを減らすには text/html 2023-04-08T04:34:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/sidebar?rev=1680928454&do=diff <https://kotonohalab.com/> <https://www.jnlp.org/GengoHouse/> 　(広告募集) text/html 2023-04-07T02:34:29+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/text-davinci-003?rev=1680834869&do=diff text-davinci-003 text-davinci-003 は OpenAIの作成したGPT-3の新しいモデル。 * 2022-12-27 | 【個人開発】OpenAIの文章生成モデルを使ったアプリを24時間で作ってリリースしました * 2022-11-30 | GPT-3の新しい言語モデルが発表されたので色々と質問してみた text/html 2023-06-10T06:29:44+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/top?rev=1686378584&do=diff 自然言語処理の餅屋 * 自然言語処理の餅屋は言語商会がWeb上の日本語の自然言語処理の情報をまとめたサイトで、リンク集(約2,700ページ)＋用語メモみたいな感じです。技術的な話題だけでなく、や企業、研究室、Webアプリなども紹介しています。ちなみにですが、 text/html 2022-05-11T04:46:39+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/top2vec?rev=1652244399&do=diff Top2Vec Top2Vec is an algorithm for topic modeling and semantic search Top2Vec<https://github.com/ddangelov/Top2Vec> * 2020-10-11 | TOP2VEC: New way of topic modelling text/html 2023-01-29T08:09:37+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/trocco?rev=1674979777&do=diff trocco * 2022-12-22 | troccoを使ってツイートを取得し、簡単なNLP（感情分析） text/html 2023-06-10T07:00:46+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/vertex_ai?rev=1686380446&do=diff Vertex AI * 2022-12-06 | (動画) Vertex AI ではじめる「大規模言語モデル」 text/html 2023-06-10T06:03:21+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/vicuna-13b?rev=1686377001&do=diff Vicuna-13B * 2023-04-04 | ChatGPTに匹敵する性能の日本語対応チャットAI「Vicuna-13B」のデータが公開され一般家庭のPC上で動作可能に text/html 2023-06-22T07:26:12+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/vllm?rev=1687418772&do=diff vLLM * 2023-06-22 | 大規模言語モデルの出力スピードを最大24倍に高めるライブラリ「vLLM」が登場、メモリ効率を高める新たな仕組み「PagedAttention」とは？ text/html 2022-12-09T07:26:20+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/xlnet?rev=1670570780&do=diff XLNet * 2019-10-24 | 大規模日本語ビジネスニュースコーパスを学習したXLNet（MeCab+Sentencepiece利用）モデルの紹介 text/html 2022-07-16T07:16:58+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/yalm_100b?rev=1657955818&do=diff YaLM 100B YaLM 100B is a GPT-like neural network for generating and processing text. It can be used freely by developers and researchers from all over the world. * 2022-06-27 | YaLM 100B text/html 2023-07-05T07:51:33+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%81%95%E3%81%8F%E3%82%89?rev=1688543493&do=diff さくら * 2023-07-05 | さくらのクラウド高火力プランを使って大規模言語モデル(LLM)を動かしてみよう 〜前編〜 text/html 2022-06-04T09:17:21+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%82%AA%E3%83%8E%E3%83%9E%E3%83%88%E3%83%9A?rev=1654334241&do=diff オノマトペ オノマトペとは擬音語、擬態語のこと。 * 2012-03-28 | 「最強のポケモンの生成」 - NLP2012のオノマトペ関係の論文 text/html 2022-09-14T12:41:20+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%82%AD%E3%83%BC%E3%83%AF%E3%83%BC%E3%83%89%E6%8A%BD%E5%87%BA?rev=1663159280&do=diff キーワード抽出 キーワード抽出とは テキスト中から重要である単語を抽出する処理のこと。キーフレーズ抽出ともいう。 記事 * 2022-04-20 | BERTのレイヤー数削減による多言語キーフレーズ抽出モデルの軽量化・高精度化 * 2022-03-18 | pkeを使い日本語のキーフレーズ抽出を行う * 2021-12-23 | キーフレーズを抽出して遊ぶ * 2021-07-20 | 日本語辞書ありキーワード抽出器からの多言語辞書なしキーワード抽出器の Distillation *… text/html 2023-01-29T09:01:02+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84%E5%88%86%E6%9E%90?rev=1674982862&do=diff コンテンツ分析 * 2023-01-29 | 自然言語処理・機械学習を実装した事例 * 2022-12-22 | 【研究開発部の技術】第5回 ニュース配信を支える自然言語処理技術 * 2022-12-02 | 顧客体験の向上に向けた自然言語処理技術の活用: 定義文抽出 text/html 2023-09-13T08:01:29+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%83%86%E3%82%AD%E3%82%B9%E3%83%88%E5%88%86%E5%89%B2?rev=1694592089&do=diff テキスト分割 * 2023-09-12 | 自然言語処理で扱うテキストのchunkingについて text/html 2021-06-27T13:44:37+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF?rev=1624801477&do=diff ニューラルネットワーク * 2021-02-16 | CMU Neural Nets for NLP 2021 再帰的ニューラルネットワーク(RNN) * 2021-06-14 | 「再帰的ニューラルネットワーク」とは？自然言語処理に強いアルゴリズムの仕組み 畳み込みニューラルネットワーク(CNN) * 2021-04-04 | 1次元畳み込みニューラルネットワーク（自然言語処理） * 2017-02-23 | TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例 * 2017-02-23 | 艦これのセリフ分類をCNNでやる * 2016-03-11 | 自然言語処理における畳み込みニューラルネットワークを理解する… text/html 2022-02-05T04:19:47+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3%E3%83%9E%E3%83%83%E3%83%81?rev=1644034787&do=diff パターンマッチ * 2017-03-08 | An Introduction to Sequential Pattern Mining text/html 2023-02-09T08:32:44+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%83%91%E3%83%BC%E3%83%97%E3%83%AC%E3%82%AD%E3%82%B7%E3%83%86%E3%82%A3?rev=1675931564&do=diff パープレキシティ パープレキシティとは 言語モデルの複雑さを表現する指標で、大きいほうが複雑であり、小さいほうが良い言語モデル。直観的には、後続する可能性のある単語数の平均。2のエントロピー乗で計算。 text/html 2022-07-16T07:23:59+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF?rev=1657956239&do=diff ベンチマーク * 2022-01-14 | (動画) 【最新AIニュース】自然言語のベンチマーク【海外AIトレンド48】 text/html 2022-06-10T08:52:56+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA?rev=1654851176&do=diff ライブラリ 自然言語処理ライブラリ ここでは複数の自然言語処理の課題を統一的に利用可能なツール群のことを自然言語処理ライブラリと呼んでいます（プラットフォームやフレームワークなどと呼ぶこともあります）。 text/html 2021-01-29T09:24:56+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E4%BA%8B%E4%BE%8B?rev=1611912296&do=diff 事例 難しい文 * Buffalo buffalo Buffalo buffalo buffalo buffalo Buffalo buffalo - Wikipedia * 今日本にいますか？ <html> <blockquote class=“twitter-tweet”><p lang=“ja” dir=“ltr”>リリカルなのは問題, 自然言語処理上の難問として知られている</p>&mdash; ヒドリ (@HydryHydra) <a href= text/html 2023-12-23T05:31:32+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD?rev=1703309492&do=diff 人工知能 * 2023-04-11 | Lightweight-AGI: Go言語と大規模言語モデルを使用した軽量な汎用人工知能エージェントを作った話 * 2022-11-13 | Language models are nearly AGIs but we don't notice it because we keep shifting the bar * 2020-10-06 | 第１次人工知能（AI）ブームの終焉、なぜAIは「冬の時代」に突入したか * 2020-09-28 | アレン研究所、AI言語モデルに蔓延する毒性を発見 - アレン人工知能研究所, RealToxicityPrompts, GPT-3 * 2020-09-23 | The Next Big Breakthrough in AI Will Be Around Language * 2020-09-01 | シンボルグラウンディング問題とは｜意味・具体例・身体性との関係 * 2020-08-19 | AIの活用は米国企業の1割未満、意外と少ない数字から見えてきたこと * 202… text/html 2022-09-14T10:45:57+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%85%B1%E8%B5%B7?rev=1663152357&do=diff 共起 * 2022-09-10 | 【自然言語処理】【Python】共起ネットワークの作り方を理解する * 2020-11-27 | 共起語とは？SEO効果はあるの？コンテンツ作りでの注意点を解説 * 2020-09-22 | 3. Pythonによる自然言語処理　2-1. 共起ネットワーク text/html 2023-08-10T07:15:16+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%88%86%E6%95%A3%E8%A1%A8%E7%8F%BE?rev=1691651716&do=diff 分散表現 埋め込みとも言う。英語では embedding。単語に対して分散表現を作成したものが単語分散表現（単語埋め込み）。 簡単に言えば、分散表現とは単語や文などの言語表現を密にベクトル化したものだと思えばいい。 text/html 2023-06-15T08:00:24+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%88%86%E9%A1%9E?rev=1686816024&do=diff 分類 二値分類・フィルタリング * 肯否分析も参照のこと。 * 2021-12-25 | 【自然言語処理】プリンを含む文がポケモンかどうか分類してみた * 2021-02-05 | 作業報告書から重大なミスを発見　自然言語処理で解決 自動生成の判別 * 2023-03-25 | AI文章の見分け方【解析判定ツール】使い方（AI Text Classifier） その他 * 2023-06-14 | BERTで日本語文章をゼロショット分類してみる * 2022-12-22 | 現状最強？と噂の高性能言語モデル「LUKE」で日本語ニュース分類 * 2022-05-02 | 日本語ニュース分類から見る多言語モデル * 2021-06-15 | Implement and Train Text Classification Transformer Models — the Easy Way * 2021-06-10 |… text/html 2021-06-20T06:23:50+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%90%AB%E6%84%8F%E9%96%A2%E4%BF%82%E8%AA%8D%E8%AD%98?rev=1624170230&do=diff 含意関係認識 データセット * 2020-10-15 | Japanese Realistic Textual Entailment Corpus - examples labeled whether the premise entails the hypothesis or not - Megagon Labs * データセットの概略：2020-10-19 | リクルートのAI研究機関、『じゃらんnet』のクチコミを活用した日本語自然言語処理の発展を加速する学術研究用データセットを公開 記事 * 2020-12-14 | BERTを用いて日本語レビューコーパスの含意関係認識やってみた - BERT… text/html 2021-02-03T11:10:00+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%9B%BA%E6%9C%89%E8%A1%A8%E7%8F%BE%E6%8A%BD%E5%87%BA?rev=1612350600&do=diff text/html 2023-06-10T06:41:58+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%9B%BA%E6%9C%89%E8%A1%A8%E7%8F%BE%E8%AA%8D%E8%AD%98?rev=1686379318&do=diff 固有表現認識 固有表現認識(named entity recognition; NER) テキスト中から固有表現を取り出す処理。固有表現抽出もほぼ同じ意味。 言語資源 Wikipediaを用いた日本語の固有表現抽出データセット<https://github.com/stockmarkteam/ner-wikipedia-dataset> * 2022-08-01 | text/html 2022-02-05T04:14:26+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%A4%9A%E6%A7%98%E6%80%A7?rev=1644034466&do=diff 多様性 * 2021-02-04 | テキストの多様性を測る評価指標 text/html 2023-04-08T03:33:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%AF%BE%E8%A9%B1?rev=1680924794&do=diff 対話 ChatGPTも参照。 モデル * 2021-09-22 | japanese-dialog-transformers - 日本語Transformer Encoder-decoder対話モデルを，fairseq上で評価するために必要な情報 データセット * 2022-06-17 | Accommodation Search Dialog Corpus (in Japanese) * 2022-04-29 | 日本語対話コーパス -- 網羅的な日本語対話コーパスの一覧 text/html 2023-06-12T07:57:36+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E5%BD%A2%E6%85%8B%E7%B4%A0%E8%A7%A3%E6%9E%90?rev=1686556656&do=diff 形態素解析 形態素解析とは 単語を同定する処理。日本語の場合は分かち書きされていない言語なので、どの文字からどの文字までが単語なのかを知る必要がある。また、その単語がどのような単語（品詞や読みなど）も知る必要がある。以上まとめると、形態素解析はいくつかの処理に分解できる。 text/html 2021-02-19T08:41:38+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%83%85%E5%A0%B1%E6%8A%BD%E5%87%BA?rev=1613724098&do=diff 情報抽出 * 2021-01-10 | (動画) 自然言語処理　〜11章情報抽出と知識獲得〜 text/html 2023-06-10T06:53:07+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%84%8F%E5%91%B3%E8%A7%A3%E6%9E%90?rev=1686379987&do=diff 意味解析 意味解析とは 単語の語義を決める処理。もし語義が一つしかなければ辞書に記述するだけでよく自動的に処理を行う必要がないので、事実上意味解析とは複数の語義がある場合にどの語義かを特定する処理（語義曖昧性解消、word sense disambiguation; WSD）のことを指す。 text/html 2021-01-29T09:10:53+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%8C%87%E6%A8%99?rev=1611911453&do=diff 指標 指標とは 自然言語処理では重要度や類似度、（実験での）精度など様々な指標が使われています。 参考 * 2018 The Hitchhiker’s Guide to Testing Statistical Significance in Natural Language Processing text/html 2021-09-26T02:16:12+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%96%87%E7%AB%A0%E8%AA%AD%E8%A7%A3?rev=1632622572&do=diff 文章読解 * 2021-01-14 | 文章読解タスクにおける Adversarial Examples text/html 2021-12-04T06:06:09+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%97%A5%E6%9C%AC%E8%AA%9E%E5%85%A5%E5%8A%9B?rev=1638597969&do=diff 日本語入力 * 2021-12-04 | コミック: Google 日本語入力ができるまで text/html 2023-07-30T03:43:59+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%9B%B8%E7%B1%8D?rev=1690688639&do=diff 書籍 自然言語処理に関する主な書籍をご紹介します。各項目について概ねおすすめ順になっています。 なお、下記については別ページで紹介しています。 * テキストマイニングの図書 * 無料で読める図書のリスト * 推薦図書 出版予定 * 2022-09-22 | text/html 2022-12-09T05:35:12+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%9C%9D%E6%97%A5%E6%96%B0%E8%81%9E%E7%A4%BE?rev=1670564112&do=diff 朝日新聞社 * 2022-11-27 | 朝日新聞社、AIで要約・校正を支援するAPIを「朝日新聞Playground」で公開 text/html 2023-06-19T07:55:42+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%A0%A1%E6%AD%A3?rev=1687161342&do=diff 校正 文中の誤りを指摘、もしくは訂正する処理の総称。文法誤り訂正(grammatical error correction, GEC)と呼ばれることが多い。GECという名称についてはGECのタスク説明を参照のこと。 校正に関連するページである text/html 2022-08-11T06:11:01+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%A9%9F%E6%A2%B0%E7%BF%BB%E8%A8%B3?rev=1660198261&do=diff 機械翻訳 コーパス・アノテーション * アノテーションを参照 機械翻訳モデル * 2020-10-19 | The first AI model that translates 100 languages without relying on English data - Facebook 機械翻訳を作る・研究する * 2022-07-21 | Discordのチャットbotでニューラル機械翻訳を試そう　「JoeyNMT」のカスタマイズについても解説 * 2022-06-04 | fairseq によるニューラル機械翻訳演習 -- Google Colab * 2022-04-16 | 【採用論文解説】Teacher-forcingによる精度の劣化を緩和する手法 * 2022-04-04 | 世界最高の翻訳サービスを個人で開発した話【meta翻訳】 * 2021-12-24 |… text/html 2021-01-31T04:28:46+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E6%AF%94%E8%BC%83?rev=1612067326&do=diff 比較 記事 * 2018-10-25 | ２つの文書をAIで比較して内容の違う部分を自動で見つけ出す「ディープアライメント」 text/html 2022-04-29T05:30:21+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E7%92%B0%E5%A2%83?rev=1651210221&do=diff 計算機環境 OS * Windows * macOS * Android プログラミング言語等 * c * c * Go * Excel * Java * JavaScript * MATLAB * Perl * PHP * Python * R * Ruby * Rust * SQL * VBA 機械学習ライブラリ * PyTorch * FireBase text/html 2023-04-07T04:42:00+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E7%94%9F%E6%88%90?rev=1680842520&do=diff 言語生成 多くなってきたので、下記に分割して紹介しています。 * 語句生成 * 文章生成 * 物語生成 * その他の言語生成 記事 * 2023-03-24 | 人間が「AIが書いた文章」を特定できる確率は約50％でコイントスと同じレベルに過ぎない * 2021-03-23 | 偽の文書を大量に自動生成して知財を保護するAIシステムを設計、ダートマス大 * 2021-02-21 | ペンシルベニア州立大、AIライターの書いた文章を見分ける検出モデル！ * 2020-12-10 | 言語生成の強化学習をやっていく（手法紹介 Actor-Critic編②） * 2020-11-02 | Automatic Detection of Machine Generated Text: A Critical Survey * 2020-10-31 | 進化を続ける NLG （自然言語生成）について概観：ビジネスを自動化し、DXを加速させ、文書の持つ深淵に迫る 関連ページ *… text/html 2022-07-16T07:27:19+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E7%9A%AE%E8%82%89?rev=1657956439&do=diff 皮肉 * 2022-07-06 | ついに皮肉なセリフを理解し、説明文を生成できるAIが登場！ text/html 2021-03-31T02:20:54+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E7%9B%B8%E9%96%A2%E4%BF%82%E6%95%B0?rev=1617157254&do=diff 相関係数 * 2021-02-21 | 機械学習初心者による自然言語処理考察 - スピアマン相関係数の話 text/html 2023-07-18T07:58:05+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E7%9F%A5%E8%AD%98%E6%A7%8B%E7%AF%89?rev=1689667085&do=diff 知識構築 Web上で見かけた知識構築（に少しぐらいは関係ありそうな）ページや記事をメモしておきます。 データ GenWiki<https://github.com/zhijing-jin/genwiki>GenWiki is a large-scale dataset for knowledge graph-to-text (G2T) and text-to-knowledge graph (T2G) conversion. text/html 2023-06-30T11:35:18+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%87%AA%E5%8B%95%E8%A6%81%E7%B4%84?rev=1688124918&do=diff 自動要約 自動要約とは テキストを短くすること。自然言語処理では抄録や抜粋の意味でも用いる。 要約ツール／API * pysummarization * 2021-11-23 | 長文テキストを自動要約しよう（その2.1） 〜pysummarization（英文要約）〜 * 2019-10-06 | 【自然言語処理（日本語）】自動要約ライブラリのpysummarizationを使う為の準備と実装 * 長文要約生成API * 2021-04-04 | 長文要約生成API - 朝日新聞社メディアラボ… text/html 2022-04-29T06:22:45+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86?rev=1651213365&do=diff 自然言語処理 はじめに 自然言語処理とは、自然言語を処理する技術の総称。英語はnatural language processingで略称はNLPだが、NLPの曖昧さを回避するために最近Twitterを中心に NLProc とも呼ばれるようになってきた。 その他、説明したいことはいっぱいありますので徐々に加筆していきます。また、 text/html 2021-02-03T04:02:23+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86%E3%81%AE%E9%A4%85%E5%B1%8B?rev=1612324943&do=diff text/html 2023-07-18T08:11:00+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E3%83%A2%E3%83%87%E3%83%AB?rev=1689667860&do=diff 言語モデル 言語モデルとは 言語表現に対する確率分布のこと。任意の言語表現を入力すると、その表現がその言語でどの程度自然か、あるいはよく見かけるかを確率の形で出力する。 最近では text/html 2023-06-10T08:22:49+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A8%80%E8%AA%9E%E7%90%86%E8%A7%A3?rev=1686385369&do=diff 言語理解 言語資源 JGLUE: Japanese General Language Understanding Evaluation<https://github.com/yahoojapan/JGLUE> * 2022-12-20 | 日本語言語理解ベンチマークJGLUEの構築 〜 自然言語処理モデルの評価用データセットを公開しました JGLUE は以下のセットから構成される： * Text Classification * MARC-ja * JCoLA * Sentence Pair Classification * JSTS * text/html 2022-07-02T01:55:28+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%A9%95%E4%BE%A1?rev=1656726928&do=diff 評価 ツール * 2021-04-29 | MetricWSD - Non-Parametric Few-Shot Learning for Word Sense Disambiguation * 2021-02-18 | PheMT evaluation toolkit - 日英機械翻訳の言語現象毎評価データセット * 2019-10-17 | Natural Language Processing Performance Metrics * 2017-11-02 | Ground Truth for Grammatical Error Correction Metrics -- python implementation of the GLEU metric text/html 2021-01-31T05:53:30+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%AA%AC%E6%98%8E%E5%8F%AF%E8%83%BD%E6%80%A7?rev=1612072410&do=diff 説明可能性 記事 * 2020-12-08 | 説明可能性とはなにか？NLPにおける説明可能AIの現状を徹底解説！ text/html 2022-04-29T07:34:33+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%AA%B2%E9%A1%8C?rev=1651217673&do=diff 課題 自然言語処理の課題 コミュニケーション・情報発信 * 機械翻訳 * 対話 * 表現変換、言語生成、レイアウト * 自動要約 テキスト解析 * 言語判別 * 意見分析、感情分析、肯否分析 * 質問応答 * 分類, 性格、性別 テキスト入力補助 * OCR * かな漢字変換 * 校正、表記統一 text/html 2022-12-09T05:10:47+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%B3%AA%E5%95%8F%E5%BF%9C%E7%AD%94?rev=1670562647&do=diff 質問応答 言語資源 JaQuAD: Japanese Question Answering Dataset<https://github.com/SkelterLabsInc/JaQuAD> * 2022-03-18 | JapaneseQAdataset_taxonomy - データセットのリスト 択一問題の回答 * 2020-01-16 | BERTでTOEICの問題を解いてみる① 記事 * 2021-02-19 | Janomeで質問文から回答を連想する【自然言語処理, Python】 - Janome * 2020-12-06 | (動画) 自然言語処理論文紹介　〜単一回答モデルによる複数回答機械読解４〜 * 2020-10-30 | 日本語テキストのトピック抽出2　実践編 * 2020-07-21 |… text/html 2022-02-27T01:57:46+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%B3%AA%E5%95%8F%E7%94%9F%E6%88%90?rev=1645927066&do=diff 質問生成 * 2020-04-13 | COTOHAを使ってテキストから穴埋め問題を生成する【自習応援】 * 2018-11-20 | 文書からFAQを自動生成する試み text/html 2021-06-20T01:16:42+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%BE%9E%E6%9B%B8?rev=1624151802&do=diff 辞書 * 2020-06-03 | 令和版単語親密度データベースの構築と語彙数推定テストの作成 ～語彙数推定から学習支援へ～ text/html 2021-06-20T06:13:06+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E8%BF%B0%E8%AA%9E%E9%A0%85%E6%A7%8B%E9%80%A0%E8%A7%A3%E6%9E%90?rev=1624169586&do=diff 述語項構造解析 ツール * cohesion-analysis - BERT based Japanese cohesion analyzer. text/html 2022-04-29T06:21:33+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E9%87%8D%E8%A6%81%E5%BA%A6?rev=1651213293&do=diff 重要度 重要度とは * 文や単語がどの程度重要かを数値化する計算または処理。特徴度も同じ意味で用いる。キーワード抽出も参照。 * 下記の２アルゴリズムが有名。 * TF-IDF * Okapi BM25 パラメーター 単語特定分野(S) text/html 2022-09-14T12:43:40+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E9%87%8F%E5%AD%90%E8%87%AA%E7%84%B6%E8%A8%80%E8%AA%9E%E5%87%A6%E7%90%86?rev=1663159420&do=diff 量子コンピュータ * 2022-04-06 | Quantinuum、量子自然言語処理ツールキットlambeqの アップデートとアクセシビリティの向上を発表 * 2021-10-13 | Cambridge Quantum、世界初の量子自然言語処理のツールキットとライブラリを発表 * 2021-03-05 | ケンブリッジ・クオンタム・コンピューティング、量子コンピュータ上で過去最大級レベルの自然言語処理の実装を発表 * 2020-10-06 | 量子自然言語処理〜量子回路で文章を理解する〜 * 2020-04-07 | Quantum Natural Language Processing * 2018-12-24 | D-Waveマシンで自然言語処理の問題をやってみました… text/html 2022-04-29T04:39:13+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E9%9F%B3%E5%A3%B0%E8%AA%8D%E8%AD%98?rev=1651207153&do=diff 音声認識 * 2021-04-16 | 自然言語処理用学習データを動画内から収集したかった... text/html 2023-06-10T06:36:50+00:00 Anonymous (anonymous@undisclosed.example.com) https://www.jnlp.org/nlp/%E9%A1%9E%E4%BC%BC%E5%BA%A6?rev=1686379010&do=diff 類似度 単語の類似性 * 関連ページ：Word2Vec, GloVe * 2020-10-29 | 自然言語処理2　単語の類似性 テキストの類似性 * 関連ページ：Sentence-BERT, Doc2Vec, Universal Sentence Encoder, Word Rotator's Distance * 2023-04-24 | OpenAI の Embeddings API はイケてるのか、定量的に調べてみる * 2022-12-21 | 自然言語処理モデル(BERT)で文の意味上の類似度を計算 * 2022-12-21 | 「コサイン類似度」で文書がどれだけ似ているかを調べてみた * 2022-06-28 | MeCabを利用して２つの文章の類似度を計る（の理屈） * 2021-11-29 | PHPを使って形態素解析と文章の類似度を出してみる * 2021-06-29 | (動画) 3 Vector-based Methods for Similarity Search (TF-IDF, BM25, SBERT) *…