自然言語処理の餅屋

https://www.jnlp.org/

ユーザ用ツール

サイト用ツール

現在位置: 自然言語処理の餅屋 » 固有表現認識
固有表現認識

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン		前のリビジョン
固有表現認識 [2021/02/11 19:37] – ↷ 移動操作に合わせてリンクを書き換えました。 admin固有表現認識 [2023/06/10 15:41] (現在) – admin
行 1: 行 1:
 ===== 固有表現認識 ===== ===== 固有表現認識 =====
-==== 固有表現認識(named entity recognition; NER) ====+=== 固有表現認識(named entity recognition; NER) ===
  
 テキスト中から[[言語:固有表現]]を取り出す処理。固有表現抽出もほぼ同じ意味。 テキスト中から[[言語:固有表現]]を取り出す処理。固有表現抽出もほぼ同じ意味。
  
-==== ツール ====+=== 言語資源 === 
 +^ Wikipediaを用いた日本語の固有表現抽出データセット|https://github.com/stockmarkteam/ner-wikipedia-dataset| 
 + 
 +  * 2022-08-01 | [[https://news.mynavi.jp/techplus/article/20220801-2413163/|商用利用可能な個人情報抽出向けデータセットやAIモデルを公開、Nishika]] - 2022-10-31 までの期間限定 
 + 
 +=== ツール === 
 +^funer|https://github.com/kajyuuen/funer|人手規則による固有表現抽出ツール| 
 + 
 +  * 2022-04-28 | [[https://kajyuuen.hatenablog.com/entry/2022/04/28/095455|辞書とルールで固有表現抽出器を作れるライブラリfunerを公開しました]] 
 + 
 +=== CRF === 
 +  * 2023-04-25 | [[https://nikkie-ftnext.hatenablog.com/entry/practice-ner-crf-hironsan-tutorial|「機械学習を使って30分で固有表現抽出器を作るチュートリアル」を写経しました]] 
 === spaCy / GiNZA === === spaCy / GiNZA ===
   * [[ライブラリ:spacy]] / [[ライブラリ:ginza]]   * [[ライブラリ:spacy]] / [[ライブラリ:ginza]]
-  * 2020-08-18 | [[https://github.com/megagonlabs/ginza/releases/tag/ja_luw-4.0.0|LUW-4.0.0]] - The Ninjal's LUW (long-unit-word) [[NER]] model for [[ライブラリ:ginza]] v4 and [[sudachi:sudachipy]] mode A.+  * 2022-01-21 | [[https://www.ai-shift.co.jp/techblog/2504|GiNZA v5のTransformerモデルによる固有表現抽出]] 
 +  * 2021-10-20 | [[https://note.com/lizefield/n/n18fcac42afea|NLP | GINZA v5で固有表現抽出のルール追加を試してみた]] 
 +  * 2021-04-27 | [[https://radiology-nlp.hatenablog.com/entry/2021/04/27/221318|spaCyで文字単位のNERアノテーションを単語単位に変換する]] 
 +  * 2020-08-18 | [[https://github.com/megagonlabs/ginza/releases/tag/ja_luw-4.0.0|LUW-4.0.0]] - The Ninjal's LUW (long-unit-word) [[NER]] model for [[ライブラリ:ginza]] v4 and [[形態素解析:sudachi:sudachipy]] mode A.
   * 2020-06-26 | (動画) [[https://www.youtube.com/watch?v=uoBD3XjGD6s|Named Entity Recognition (NER) with spaCy in Python | Natural Language Processing Tutorial]] - [[ライブラリ:spacy]]   * 2020-06-26 | (動画) [[https://www.youtube.com/watch?v=uoBD3XjGD6s|Named Entity Recognition (NER) with spaCy in Python | Natural Language Processing Tutorial]] - [[ライブラリ:spacy]]
   * 2020-03-31 | [[https://tech.mof-mof.co.jp/blog/spacy-ner/|spaCy + GiNZAを使って固有表現抽出とカスタムモデルの学習をしてみる]] - [[ライブラリ:spacy]], [[ライブラリ:ginza]]   * 2020-03-31 | [[https://tech.mof-mof.co.jp/blog/spacy-ner/|spaCy + GiNZAを使って固有表現抽出とカスタムモデルの学習をしてみる]] - [[ライブラリ:spacy]], [[ライブラリ:ginza]]
行 14: 行 29:
  
 === Transformer === === Transformer ===
-  * [[Transformer]]+  * [[言語モデル:transformer]] 
 +  * 2021-08-30 | [[https://tech.retrieva.jp/entry/2021/08/30/135002|TransformersのPipelinesで日本語固有表現抽出]]
   * 2020-12-16 | [[https://tech.mntsq.co.jp/entry/2020/12/16/160006|Transformersを用いた固有表現抽出のtips]]   * 2020-12-16 | [[https://tech.mntsq.co.jp/entry/2020/12/16/160006|Transformersを用いた固有表現抽出のtips]]
 +
 +=== BERT ===
 +  * [[言語モデル:bert]]
 +  * 2021-09-21 | [[https://buildersbox.corp-sansan.com/entry/2021/09/21/120000|BERTによる日本語固有表現抽出の精度改善 〜BERT-CRFの紹介〜]]
 +
 +=== BART ===
 +  * [[言語モデル:BART]]
 +  * 2021-12-18 | [[https://zenn.dev/fujisyo32/articles/ba39b616efe47a|BARTを用いた新しい固有表現抽出手法の紹介]]
  
 === AllenNLP === === AllenNLP ===
   * [[ライブラリ:allennlp]]   * [[ライブラリ:allennlp]]
   * 2020-11-06 | [[https://techlife.cookpad.com/entry/2020/11/06/110000|nerman: AllenNLP と Optuna で作る固有表現抽出システム]]   * 2020-11-06 | [[https://techlife.cookpad.com/entry/2020/11/06/110000|nerman: AllenNLP と Optuna で作る固有表現抽出システム]]
-  * 2020-10-27 | [[https://colab.research.google.com/drive/13ga1yYYZkosGZy9ZinAB76blb-8k6yby?usp=sharing|AllenNLPによる自然言語処理 (3): BERTによる固有表現認識]] - [[BERT]]+  * 2020-10-27 | [[https://colab.research.google.com/drive/13ga1yYYZkosGZy9ZinAB76blb-8k6yby?usp=sharing|AllenNLPによる自然言語処理 (3): BERTによる固有表現認識]] - [[言語モデル:bert]]
  
 === OpenNLP === === OpenNLP ===
行 27: 行 51:
  
 === Flair === === Flair ===
-  * [[Flair]]+  * [[ライブラリ:flair]]
   * 2019-09-13 | [[https://hironsan.hatenablog.com/entry/implementing-contextual-string-embeddings-for-named-entity-recognition|実践！固有表現認識 ~Flairを使って最先端の固有表現認識を体験しよう~]]   * 2019-09-13 | [[https://hironsan.hatenablog.com/entry/implementing-contextual-string-embeddings-for-named-entity-recognition|実践！固有表現認識 ~Flairを使って最先端の固有表現認識を体験しよう~]]
  
行 38: 行 62:
   * 2020-11-06 | [[http://cr.fvcrc.i.nagoya-u.ac.jp/~sasano/knp/|構文・述語項構造解析器KNPに関するメモ]] - 名古屋大学笹野先生   * 2020-11-06 | [[http://cr.fvcrc.i.nagoya-u.ac.jp/~sasano/knp/|構文・述語項構造解析器KNPに関するメモ]] - 名古屋大学笹野先生
  
-==== データ ==== +=== データ === 
-  * 2020-12-15 | [[https://tech.stockmark.co.jp/blog/202012_ner_dataset/?text=Wikipedia|Wikipediaを用いた日本語の固有表現抽出データセットの公開]] - [[Wikipedia]]+  * 2022-02-21 | [[https://kajyuuen.hatenablog.com/entry/2022/02/21/095628|日本語文書分類・固有表現抽出タスクに対するData Augmentationの性能検証]] 
 +  * 2020-12-15 | [[https://tech.stockmark.co.jp/blog/202012_ner_dataset/?text=Wikipedia|Wikipediaを用いた日本語の固有表現抽出データセットの公開]] - [[データ:wikipedia]]
   * 2020-10-06 | [[https://kzinmr.hatenablog.com/entry/2020/10/06/162659|固有表現抽出のアノテーションデータについて]]   * 2020-10-06 | [[https://kzinmr.hatenablog.com/entry/2020/10/06/162659|固有表現抽出のアノテーションデータについて]]
   * 2020-07-17 | [[https://ai-scholar.tech/articles/natural-language-processing/ner-weak-supervision|アノテートされたデータがないドメインで固有表現認識！？]] - AI-SCHOLAR   * 2020-07-17 | [[https://ai-scholar.tech/articles/natural-language-processing/ner-weak-supervision|アノテートされたデータがないドメインで固有表現認識！？]] - AI-SCHOLAR
   * 2020-03-06 | [[https://lionbridge.ai/ja/datasets/15-free-datasets-and-corpora-for-named-entity-recognition-ner/|【13個掲載】固有表現抽出に使えるデータセットまとめ]]   * 2020-03-06 | [[https://lionbridge.ai/ja/datasets/15-free-datasets-and-corpora-for-named-entity-recognition-ner/|【13個掲載】固有表現抽出に使えるデータセットまとめ]]
  
-==== その他 ====+=== その他 === 
 +  * 2022-04-12 | [[https://fintan.jp/page/3421/|自然言語処理のデータ作成に使うActive Learningのサンプリング方法を改善する -固有表現認識編-]] 
 +  * 2021-11-05 | (スライド) [[https://speakerdeck.com/sansanbuildersbox/continuous-improvement-of-named-entity-extraction|継続して改善する固有表現抽出 / Continuous improvement of named entity extraction]] 
 +  * 2021-05-17 | [[https://www.keywalker.co.jp/blog/nlp-episode2-named-entity-extraction.html|海外の自然言語処理活用事例シリーズ Part.2 固有表現抽出]]
   * 2020-10-09 | (スライド) [[https://speakerdeck.com/sansandsoc/practical-use-of-named-entity-recognition|実務で使う固有表現抽出 / Practical Use of Named Entity Recognition]]   * 2020-10-09 | (スライド) [[https://speakerdeck.com/sansandsoc/practical-use-of-named-entity-recognition|実務で使う固有表現抽出 / Practical Use of Named Entity Recognition]]
   * 2020-09-12 | (スライド) [[https://speakerdeck.com/sansandsoc/extraction-of-unique-expressions-in-news-distribution|ニュース配信における固有表現抽出の取り組み]]   * 2020-09-12 | (スライド) [[https://speakerdeck.com/sansandsoc/extraction-of-unique-expressions-in-news-distribution|ニュース配信における固有表現抽出の取り組み]]
(感想・要望・情報提供)　
.gz · 最終更新: 2021/02/11 19:37 by admin

ページ用ツール

(広告募集)