このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン | ||
書籍:テキスト処理の要素技術 [2021/03/16 11:28] – admin | 書籍:テキスト処理の要素技術 [2023/06/11 17:38] (現在) – admin | ||
---|---|---|---|
行 1: | 行 1: | ||
===== テキスト処理の要素技術 ===== | ===== テキスト処理の要素技術 ===== | ||
- | < | + | === 書籍 |
- | <iframe style=" | + | {{url>https:// |
- | </ | + | |
- | </ | + | |
- | この本は私の唯一の単著です。 | + | この本は私が2021年に書いた本です。 |
+ | |||
+ | ==== 正誤表 ==== | ||
+ | [[https:// | ||
==== おすすめする方 ==== | ==== おすすめする方 ==== | ||
行 19: | 行 20: | ||
* 機械学習や深層学習を使わないと意味がないと考えている方 | * 機械学習や深層学習を使わないと意味がないと考えている方 | ||
- | ==== 目次 | + | ==== 書評 |
- | * 第1章 基礎知識 | + | * 2021-07-17 | [[https:// |
- | * 1.1 集合の類似度 | + | tchovさんのレビュー]] |
- | * 1.2 形態素解析器 | + | |
- | * 1.3 日本語の品詞 | + | ==== Twitter書評 ==== |
- | * 1.4 コーパスと単語統計 | + | < |
- | * 1.5 n-gram | + | < |
- | * 1.6 本章のまとめ | + | |
- | * 第2章 システム例:類似文書の提示システム | + | < |
- | * 2.1 システム1:TF-IDFを用いたシステム | + | |
- | * 2.2 システム1の実行例 | + | < |
- | * 2.3 システム2:Doc2Vecを用いたシステム | + | |
- | * 2.4 システム2の出力例 | + | < |
- | * 2.5 本章のまとめ | + | </ |
- | * 第3章 前処理を行う | + | |
- | * 3.1 整形とクリーニング | + | |
- | * 3.2 単語分割 | + | |
- | * 3.3 文字種の統一 | + | |
- | * 3.4 表記ゆれ | + | |
- | * 3.5 前処理ツール | + | |
- | * 3.6 本章のまとめ | + | |
- | * 第4章 似た単語を探す | + | |
- | * 4.1 表記の類似度 | + | |
- | * 4.2 編集距離 | + | |
- | * 4.3 シソーラス | + | |
- | * 4.4 単語間の意味距離 | + | |
- | * 4.5 コーパスを用いた単語の類似度計算 | + | |
- | * 4.6 単語分散表現 | + | |
- | * 4.7 本章のまとめ | + | |
- | * 第5章 単語の重要度を計算する | + | |
- | * 5.1 はじめに | + | |
- | * 5.2 TF-IDF値 | + | |
- | * 5.3 TF-IDFを使う上での注意点 | + | |
- | * 5.4 TF-IDFの改良 | + | |
- | * 5.5 自然言語処理的な改良 | + | |
- | * 第6章 似た文を探す | + | |
- | * 6.1 文中の単語の一致による文類似度 | + | |
- | * 6.2 単語n-gramの一致 | + | |
- | * 6.3 BLEU | + | |
- | * 6.4 ROUGE | + | |
- | * 6.5 構文的な一致 | + | |
- | * 6.6 似たテキストを探し出すには? | + | |
- | * 6.7 本章のまとめ | + | |
- | * 第7章 | + | |
- | * 7.1 自動要約の分類 | + | |
- | * 7.2 重要文抽出 | + | |
- | * 7.3 文と文の関係性を考慮 | + | |
- | * 7.4 文圧縮 | + | |
- | * 7.5 本章のまとめ | + | |
- | * 第8章 テキストを検索する | + | |
- | * 8.1 転置インデックス | + | |
- | * 8.2 不要語 | + | |
- | * 8.3 クエリ拡張 | + | |
- | * 8.4 単語分割の長さと検索結果の関係 | + | |
- | * 8.5 単語n-gramによる検索 | + | |
- | * 8.6 文字n-gramによる検索 | + | |
- | * 8.7 検索逃れ | + | |
- | * 8.8 検索結果の順位付け | + | |
- | * 8.9 本章のまとめ | + | |
- | * 第9章 | + | |
- | * 9.1 キーワードによるフィルタリング | + | |
- | * 9.2 ナイーブベイズ分類器 | + | |
- | * 9.3 k近傍法 | + | |
- | * 9.4 サポートベクトルマシン | + | |
- | * 9.5 本章のまとめ | + | |
- | * 第10章 システムを評価する | + | |
- | * 10.1 クローズドテストとオープンテスト | + | |
- | * 10.2 交差検証 | + | |
- | * 10.3 適合率と再現率 | + | |
- | * 10.4 どの評価尺度を用いるべきか | + | |
- | * 10.5 マイクロ平均とマクロ平均 | + | |
- | * 第11章 より高度な処理を行う | + | |
- | * 11.1 構文解析 | + | |
- | * 11.2 意味解析 | + | |
- | * 11.3 本章のまとめ | + | |
- | * 第12章 さらに勉強したい方は | + | |
- | * 12.1 書籍を読む | + | |
- | * 12.2 論文を読む | + | |
- | * 12.3 学会に参加する | + | |
- | * 12.4 大学の研究室に入る | + | |
- | * 12.5 自然言語処理の勉強をしよう | + | |