校正:表記統一

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

--- 校正:表記統一 [2022/09/14 11:21] – admin
+++ 校正:表記統一 [2023/06/10 15:48] (現在) – admin
@@ 行 1: / 行 1: @@
 ===== 表記統一 =====
-表記統一とは、[[表記ゆれ]](spelling inconsistency)をなくす作業のこと。
+表記統一とは、[[表記ゆれ]](spelling inconsistency)をなくす作業のこと。前処理全般について[[:データ:前処理]]を、Unicode正規化については[[:言語:文字コード]]をご覧ください。
 === ツール ===
@@ 行 12: / 行 12: @@
 | neologdn 0.5.1 | https://pypi.org/project/neologdn/ | 全角半角等の正規化ツール |
 | textlint | [[校正:textlint]] | (別ページで紹介) |
+| 言葉のしっぽ（tails-of-words）|https://github.com/srz-zumix/tails-of-words | 表記ゆれの自動検出プログラム |
 === 言語資源 ===
@@ 行 18: / 行 19: @@
 === 表記統一リスト ===
+  * 2022-11-18 | [[https://developers.prtimes.jp/2022/11/18/change_word_form/|新旧字体の表記ゆれを統一するために互換表を作成した話]]
+  * 2022-10-31 | [[https://www.nistep.go.jp/archives/53185|「大学・公的機関名英語表記ゆれテーブル(Ver. 2022.1)」の公表について]]
   * 2022-03-12 | [[https://note.com/_naru/n/n9ff42ee7811d|表記ゆれで別の意味を持つ外来語]]
   * 2020-11-24 | [[https://www2.ninjal.ac.jp/lrc/index.php?%A1%D8%C9%BD%B5%AD%C5%FD%B9%E7%BC%AD%BD%F1%A1%D9|『表記統合辞書』]] -- 国立国語研究所
@@ 行 29: / 行 32: @@
   * 2020-06-06 | [[https://qiita.com/miya0001/items/598070abcdf0799daebc|日本の住所の正規化に本気で取り組んでみたら大変すぎて鼻血が出た。]] -- Qiita
-=== 表記ゆれ/表記統一 記事 ===
+=== 記事 ===
+  * 2023-04-30 | [[https://qiita.com/akiraokusawa/items/fdece9c97a17e8f7cb9e|AIが解決する表記ゆれ問題：ChatGPTと協力するデータ品質向上のアプローチ]]
   * 2022-06-28 | [[https://cuebic.hatenablog.com/entry/2022/06/28/090000|MeCabで形態素解析すれば品名の表記が異なっても一向にかまわんッッ]]
   * 2021-09-06 | [[https://news.mynavi.jp/article/zeropython-82/|形態素解析で表記揺れを吸収してファイル検索しよう]]

(感想・要望・情報提供)　

.gz · 最終更新: 2022/09/14 11:21 by admin

(広告募集)