固有表現認識

固有表現認識

固有表現認識(named entity recognition; NER)

テキスト中から固有表現を取り出す処理。固有表現抽出もほぼ同じ意味。

言語資源

Wikipediaを用いた日本語の固有表現抽出データセット	https://github.com/stockmarkteam/ner-wikipedia-dataset

2022-08-01 | 商用利用可能な個人情報抽出向けデータセットやAIモデルを公開、Nishika - 2022-10-31 までの期間限定

ツール

funer	https://github.com/kajyuuen/funer	人手規則による固有表現抽出ツール

2022-04-28 | 辞書とルールで固有表現抽出器を作れるライブラリfunerを公開しました

CRF

2023-04-25 | 「機械学習を使って30分で固有表現抽出器を作るチュートリアル」を写経しました

spaCy / GiNZA

spaCy / GiNZA
2022-01-21 | GiNZA v5のTransformerモデルによる固有表現抽出
2021-10-20 | NLP | GINZA v5で固有表現抽出のルール追加を試してみた
2021-04-27 | spaCyで文字単位のNERアノテーションを単語単位に変換する
2020-08-18 | LUW-4.0.0 - The Ninjal's LUW (long-unit-word) NER model for GiNZA v4 and SudachiPy mode A.
2020-06-26 | (動画) Named Entity Recognition (NER) with spaCy in Python | Natural Language Processing Tutorial - spaCy
2020-03-31 | spaCy + GiNZAを使って固有表現抽出とカスタムモデルの学習をしてみる - spaCy, GiNZA
2020-03-24 | 自然言語処理ライブラリGiNZAで固有表現抽出してみた - GiNZA
2019-10-14 | ginza(spacy)で固有表現抽出のtrain - spaCy, GiNZA

Transformer

Transformer
2021-08-30 | TransformersのPipelinesで日本語固有表現抽出
2020-12-16 | Transformersを用いた固有表現抽出のtips

BERT

BERT
2021-09-21 | BERTによる日本語固有表現抽出の精度改善〜BERT-CRFの紹介〜

BART

BART
2021-12-18 | BARTを用いた新しい固有表現抽出手法の紹介

AllenNLP

AllenNLP
2020-11-06 | nerman: AllenNLP と Optuna で作る固有表現抽出システム
2020-10-27 | AllenNLPによる自然言語処理 (3): BERTによる固有表現認識 - BERT

OpenNLP

OpenNLP
2020-10-14 | 最新 Apache OpenNLP 1.9.0 で日本語固有表現抽出を試す

Flair

A3RT

A3RT
2020-11-06 | Named Entity API

KNP

KNP
2020-11-06 | 構文・述語項構造解析器KNPに関するメモ - 名古屋大学笹野先生

データ

2022-02-21 | 日本語文書分類・固有表現抽出タスクに対するData Augmentationの性能検証
2020-12-15 | Wikipediaを用いた日本語の固有表現抽出データセットの公開 - Wikipedia
2020-10-06 | 固有表現抽出のアノテーションデータについて
2020-07-17 | アノテートされたデータがないドメインで固有表現認識！？ - AI-SCHOLAR
2020-03-06 | 【13個掲載】固有表現抽出に使えるデータセットまとめ

その他

2022-04-12 | 自然言語処理のデータ作成に使うActive Learningのサンプリング方法を改善する -固有表現認識編-
2021-11-05 | (スライド) 継続して改善する固有表現抽出 / Continuous improvement of named entity extraction
2021-05-17 | 海外の自然言語処理活用事例シリーズ Part.2 固有表現抽出
2020-10-09 | (スライド) 実務で使う固有表現抽出 / Practical Use of Named Entity Recognition
2020-09-12 | (スライド) ニュース配信における固有表現抽出の取り組み
2020-08-27 | OCRに固有表現認識を組み合わせてサービスを進化させる【技術解説】
2020-08-20 | ChemDataExtractor：シンプルテキストから固有表現抽出（Named Entity Recognition; NER）を行ってみる