類似度

類似度

単語の類似性

関連ページ：Word2Vec, GloVe
2020-10-29 | 自然言語処理2　単語の類似性

テキストの類似性

関連ページ：Sentence-BERT, Doc2Vec, Universal Sentence Encoder, Word Rotator's Distance
2023-04-24 | OpenAI の Embeddings API はイケてるのか、定量的に調べてみる
2022-12-21 | 自然言語処理モデル(BERT)で文の意味上の類似度を計算
2022-12-21 | 「コサイン類似度」で文書がどれだけ似ているかを調べてみた
2022-06-28 | MeCabを利用して２つの文章の類似度を計る（の理屈）
2021-11-29 | PHPを使って形態素解析と文章の類似度を出してみる
2021-06-29 | (動画) 3 Vector-based Methods for Similarity Search (TF-IDF, BM25, SBERT)
2021-04-11 | PythonのMeCabで形態素解析！Tf-idfとCos類似度で文書の類似度を算出してみよう！
2021-01-23 | Pythonで文章の類似度を計算する方法〜TF-IDFとcos類似度〜
2021-01-16 | (動画) 【自然言語処理入門】形態素解析をしてTf-idfとCos類似度で文書類似度を測る

翻訳評価

機械翻訳の自動評価（翻訳結果と参照文の比較）は結局のところ文の類似度を算出しているのと同じことなので、本ページに記載します。

2022-10-15 | NLTK BLEUのSmoothing Functionはどれくらいスムージングしているのか
2022-08-05 | 多言語自然言語処理研究の基礎を支える、評価尺度BLEU
2021-06-25 | (動画) 【自然言語処理】BLEU - 定義は？どういう意味？何で利用されてるの？【機械翻訳の評価指標】#105 #VRアカデミア
2020-12-30 | BERTScoreで文章を類似度順に並べる
2020-07-14 | BERTScoreで文章の類似性を測定してみた
2020-01-12 | テキスト生成の自動評価指標について

距離尺度

2022-07-13 | 編集距離(Levenshtein Distance)の計算方法・計算量を考える
2021-06-29 | (動画) 3 Traditional Methods for Similarity Search (Jaccard, w-shingling, Levenshtein)
2021-02-01 | 9 Distance Measures in Data Science
2018-09-11 | 編集距離（レーベンシュタイン距離）を理解し、実装する
2018-05-10 | 【技術解説】似ている文字列がわかる！レーベンシュタイン距離とジャロ・ウィンクラー距離の計算方法とは
2017-02-15 | 乱択アルゴリズムと自然言語処理:Locality Sensitive Hashing を用いた高速な名詞クラスタリング

関連ページ

分散表現 – 昨今の類似性は分散表現上で行うことが多い