このページの2つのバージョン間の差分を表示します。
両方とも前のリビジョン前のリビジョン次のリビジョン | 前のリビジョン最新のリビジョン両方とも次のリビジョン | ||
ライブラリ:ginza [2021/11/13 16:05] – admin | ライブラリ:ginza [2023/01/29 18:04] – admin | ||
---|---|---|---|
行 3: | 行 3: | ||
オープンソース日本語自然言語処理[[: | オープンソース日本語自然言語処理[[: | ||
- | ==== Google Colab上でちょっと使ってみる | + | * [[ライブラリ: |
- | === 準備 === | + | |
- | !pip install | + | === 記事 === |
- | | + | * 2022-12-08 | [[https:// |
- | | + | |
- | | + | |
- | nlp = spacy.load(' | + | |
- | from spacy import displacy | + | |
- | + | | |
- | === 形態素解析 === | + | |
- | + | | |
- | doc = nlp('解析したいテキストをここに入力する。') | + | |
- | | + | |
- | for token in sent: | + | |
- | print(token.i, token.orth_, | + | |
- | + | ||
- | === 固有表現認識 === | + | |
- | + | ||
- | doc = nlp(' | + | |
- | | + | |
- | + | ||
- | === 構文解析 | + | |
- | + | ||
- | doc = nlp('少女の古いアパートが壊されかけた') | + | |
- | | + | |
- | + | ||
- | === 単語の類似度を計算 === | + | |
- | + | ||
- | | + | |
- | | + | |
- | for t2 in tokens: | + | |
- | if t1 == t2: | + | |
- | break | + | |
- | print(' | + | |
- | + | ||
- | === 文の類似度を計算 === | + | |
- | + | ||
- | | + | |
- | | + | |
- | doc3 = nlp(' | + | |
- | for d1 in (doc1, doc2, doc3): | + | |
- | for d2 in (doc1, doc2, doc3): | + | |
- | if d1 == d2: | + | |
- | break | + | |
- | print(' | + | |
- | + | ||
- | + | ||
- | ==== リンク ==== | + | |
* 2021-11-05 | [[https:// | * 2021-11-05 | [[https:// | ||
* 2021-08-25 | [[https:// | * 2021-08-25 | [[https:// | ||
行 60: | 行 25: | ||
* 2021-01-03 | [[https:// | * 2021-01-03 | [[https:// | ||
* 2020-12-16 | [[https:// | * 2020-12-16 | [[https:// | ||
- | * 2020-10-10 | [[https:// | + | * 2020-10-10 | [[https:// |
- | * 2020-09-27 | [[https:// | + | * 2020-09-27 | [[https:// |
* 2020-07-07 | [[https:// | * 2020-07-07 | [[https:// | ||
* 2020-03-24 | [[https:// | * 2020-03-24 | [[https:// |