自然言語処理の餅屋

https://www.jnlp.org/

ユーザ用ツール

サイト用ツール

現在位置: 自然言語処理の餅屋 » 類似度
類似度

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン		前のリビジョン
類似度 [2022/04/14 14:19] – admin類似度 [2023/06/10 15:36] (現在) – admin
行 5: 行 5:
  
 === テキストの類似性 === === テキストの類似性 ===
-  * 関連ページ：[[:言語モデル:Sentence-BERT]], [[doc2vec]], [[Universal Sentence Encoder]], [[Word Rotator's Distance]]+  * 関連ページ：[[:言語モデル:Sentence-BERT]], [[分散表現:doc2vec]], [[分散表現:universal_sentence_encoder]], [[分散表現:word_rotator_s_distance]] 
 +  * 2023-04-24 | [[https://qiita.com/akeyhero/items/ce371bfed64399027c23|OpenAI の Embeddings API はイケてるのか、定量的に調べてみる]] 
 +  * 2022-12-21 | [[https://techblog.gmo-ap.jp/2022/12/21/bert_calc_sentence_similarity/|自然言語処理モデル(BERT)で文の意味上の類似度を計算]] 
 +  * 2022-12-21 | [[https://dev.classmethod.jp/articles/try-cosine-similarity-using-ginza-and-spacy/|「コサイン類似度」で文書がどれだけ似ているかを調べてみた]] 
 +  * 2022-06-28 | [[https://qiita.com/kobashi-yoshizumi/items/840c9b0d02ffde5011f2|MeCabを利用して２つの文章の類似度を計る（の理屈）]]
   * 2021-11-29 | [[https://tech.excite.co.jp/entry/2021/11/29/175826|PHPを使って形態素解析と文章の類似度を出してみる]]   * 2021-11-29 | [[https://tech.excite.co.jp/entry/2021/11/29/175826|PHPを使って形態素解析と文章の類似度を出してみる]]
   * 2021-06-29 | (動画) [[https://www.youtube.com/watch?v=ziiF1eFM3_4|3 Vector-based Methods for Similarity Search (TF-IDF, BM25, SBERT)]]   * 2021-06-29 | (動画) [[https://www.youtube.com/watch?v=ziiF1eFM3_4|3 Vector-based Methods for Similarity Search (TF-IDF, BM25, SBERT)]]
行 11: 行 15:
   * 2021-01-23 | [[https://analysis-navi.com/?p=688|Pythonで文章の類似度を計算する方法〜TF-IDFとcos類似度〜]]   * 2021-01-23 | [[https://analysis-navi.com/?p=688|Pythonで文章の類似度を計算する方法〜TF-IDFとcos類似度〜]]
   * 2021-01-16 | (動画) [[https://www.youtube.com/watch?v=Jf6k8SktA0U|【自然言語処理入門】形態素解析をしてTf-idfとCos類似度で文書類似度を測る]]   * 2021-01-16 | (動画) [[https://www.youtube.com/watch?v=Jf6k8SktA0U|【自然言語処理入門】形態素解析をしてTf-idfとCos類似度で文書類似度を測る]]
 +
 +=== 翻訳評価 ===
 +[[機械翻訳]]の自動[[評価]]（翻訳結果と参照文の比較）は結局のところ文の類似度を算出しているのと同じことなので、本ページに記載します。
 +
 +  * 2022-10-15 | [[https://qiita.com/suzuki_sh/items/58c9788e03deade9019d|NLTK BLEUのSmoothing Functionはどれくらいスムージングしているのか]]
 +  * 2022-08-05 | [[https://www.ibm.com/blogs/think/jp-ja/bleu-nlp-benchmark-anniversary/|多言語自然言語処理研究の基礎を支える、評価尺度BLEU]]
 +  * 2021-06-25 | (動画) [[https://www.youtube.com/watch?v=aZJAizFSTWg|【自然言語処理】BLEU - 定義は？どういう意味？何で利用されてるの？【機械翻訳の評価指標】#105 #VRアカデミア]]
 +  * 2020-12-30 | [[https://temari.co.jp/blog/2020/12/30/nlp/|BERTScoreで文章を類似度順に並べる]]
   * 2020-07-14 | [[https://www.nogawanogawa.com/entry/bertscore|BERTScoreで文章の類似性を測定してみた]]   * 2020-07-14 | [[https://www.nogawanogawa.com/entry/bertscore|BERTScoreで文章の類似性を測定してみた]]
 +  * 2020-01-12 | [[https://qiita.com/amtsyh/items/a926b79b90dfabe895e9|テキスト生成の自動評価指標について]]
  
 === 距離尺度 === === 距離尺度 ===
 +  * 2022-07-13 | [[https://qiita.com/sinchir0/items/02697cae7f960356eaba|編集距離(Levenshtein Distance)の計算方法・計算量を考える]]
   * 2021-06-29 | (動画) [[https://www.youtube.com/watch?v=AY62z7HrghY|3 Traditional Methods for Similarity Search (Jaccard, w-shingling, Levenshtein)]]   * 2021-06-29 | (動画) [[https://www.youtube.com/watch?v=AY62z7HrghY|3 Traditional Methods for Similarity Search (Jaccard, w-shingling, Levenshtein)]]
   * 2021-02-01 | [[https://towardsdatascience.com/9-distance-measures-in-data-science-918109d069fa|9 Distance Measures in Data Science]]   * 2021-02-01 | [[https://towardsdatascience.com/9-distance-measures-in-data-science-918109d069fa|9 Distance Measures in Data Science]]
行 21: 行 35:
  
 === 関連ページ === === 関連ページ ===
-  * [[分散表現]]+  * [[:分散表現:]] -- 昨今の類似性は分散表現上で行うことが多い 
 + 
  
  
(感想・要望・情報提供)　
.gz · 最終更新: 2022/04/14 14:19 by admin

ページ用ツール

(広告募集)