ユーザ用ツール

サイト用ツール


ライブラリ:ginza

差分

このページの2つのバージョン間の差分を表示します。

この比較画面へのリンク

両方とも前のリビジョン前のリビジョン
次のリビジョン
前のリビジョン
ライブラリ:ginza [2022/04/29 14:24] – ↷ 移動操作に合わせてリンクを書き換えました。 adminライブラリ:ginza [2023/10/03 18:03] (現在) admin
行 3: 行 3:
 オープンソース日本語自然言語処理[[:ライブラリ:]]。インストールが簡単、高速・高精度、[[構文解析:ud]]対応。最先端の機械学習技術を取り入れた自然言語処理ライブラリ[[ライブラリ:spacy]]をフレームワークとして利用しています。 オープンソース日本語自然言語処理[[:ライブラリ:]]。インストールが簡単、高速・高精度、[[構文解析:ud]]対応。最先端の機械学習技術を取り入れた自然言語処理ライブラリ[[ライブラリ:spacy]]をフレームワークとして利用しています。
  
-==== Google Colab上ちょっと使ってみる ==== +  * [[ライブラリ:ginza:google_colab__ginza_を使__てみる|Google ColabでGiNZAを使ってみる]]
-=== 準備 === +
- +
-  !pip install -U ginza        # GiNZAのインストール +
-  import pkg_resources, imp    # おまじない +
-  imp.reload(pkg_resources)    # おまじない +
-  import spacy                 # SpaCy +
-  nlp = spacy.load('ja_ginza') # GiNZA +
-  from spacy import displacy   # 構文解析結果の表示 +
- +
-=== 形態素解析 === +
- +
-  doc = nlp('解析したいテキストここに入力する。'+
-  for sent in doc.sents: +
-    for token in sent: +
-     print(token.i, token.orth_, token.lemma_, token.pos_, token.tag_, token.dep_, token.head.i) +
- +
-=== 固有表現認識 === +
- +
-  doc = nlp('小林は7月に新潟の三越で20キロの柴犬に噛まれたらしい。'+
-  displacy.render(doc, style="ent", jupyter=True) +
- +
-=== 構文解析 === +
- +
-  doc = nlp('少女の古いアパートが壊されかけた'+
-  displacy.render(doc, style='dep', jupyter=True, options={'distance': 100}) +
- +
-=== 単語の類似度を計算 === +
- +
-  tokens = nlp('学校 大学 バナナ'+
-  for t1 in tokens: +
-      for t2 in tokens: +
-      if t1 == t2: +
-        break +
-      print('{} と {} の類似度:{:.2}'.format(t1, t2, t1.similarity(t2))) +
- +
-=== 文の類似度を計算 === +
- +
-  doc1 = nlp('個人事業は昼寝ができるのが最大の特権だ。'+
-  doc2 = nlp('少しぐらい寒くても毎日散歩はしたほうがいい。'+
-  doc3 = nlp('今年になってから東京に出張していない。'+
-  for d1 in (doc1, doc2, doc3): +
-      for d2 in (doc1, doc2, doc3): +
-        if d1 == d2: +
-        break +
-      print('「{}」と「{}」の類似度:{:.2}'.format(d1, d2, d1.similarity(d2))) +
  
 === 記事 === === 記事 ===
 +  * 2022-12-08 | [[https://dev.classmethod.jp/articles/try-parsing-using-ginza/|日本語自然言語処理オープンソースライブラリ「GiNZA」で構文解析をやってみた]]
 +  * 2022-09-16 | [[https://qiita.com/Mizuiro__sakura/items/892e25c0fbba3fb7cb70|GiNZA入門1(導入)(基本的な使い方マスターを目指す方向け)]]
 +  * 2022-09-16 | [[https://qiita.com/Mizuiro__sakura/items/03c689ce534f92ab5afc|GiNZA入門3(基本操作編2、チャットボット作成編)(基本的な使い方マスターを目指す方向け)]]
 +  * 2022-08-09 | [[https://tech.excite.co.jp/entry/2022/08/09/153626|GiNZAを使って形態素解析して遊んで見る]]
 +  * 2022-07-31 | [[https://zenn.dev/robes/articles/7ee135605bdb8e|【自然言語処理】GoogleColaboratoryでGiNZAがロードできない時の解決策]]
 +  * 2022-07-22 | [[https://qiita.com/munepi0713/items/5666276082c35f2428ea|GiNZA で形態素解析やってみた(インストールで少しだけハマった)]]
 +  * 2022-07-11 | [[https://qiita.com/BUU-SAN/items/a511981df820e07e015b|【Python】GiNZA: 日本語自然言語処理オープンソースライブラリ]]
 +  * 2022-05-15 | [[https://zenn.dev/akimen/articles/d09291881affa9|自然言語処理 -spaCy & GiNZA-]]
 +  * 2022-03-29 | [[https://zenn.dev/hyga2c/articles/ginza5_largetext|GiNZA 5 (=SudachiPy >= 0.6)で49149 bytes以上のテキストをTokenizeする]]
   * 2022-02-28 | [[https://zenn.dev/kwashizzz/articles/nlp-ginza-set-user-conf|spaCy/GiNZAの形態素解析処理 Sudachiの設定ファイルを変更する方法]]   * 2022-02-28 | [[https://zenn.dev/kwashizzz/articles/nlp-ginza-set-user-conf|spaCy/GiNZAの形態素解析処理 Sudachiの設定ファイルを変更する方法]]
   * 2022-02-27 | [[https://zenn.dev/kwashizzz/articles/nlp-sudachi-user-dic|spaCy/GiNZAの形態素解析処理 Sudachiにユーザ定義辞書を追加する方法]]   * 2022-02-27 | [[https://zenn.dev/kwashizzz/articles/nlp-sudachi-user-dic|spaCy/GiNZAの形態素解析処理 Sudachiにユーザ定義辞書を追加する方法]]
行 64: 行 27:
   * 2020-12-16 | [[https://qiita.com/etnk/items/bda3f423434bd74d32df|Lambda+EFSで自然言語処理ライブラリ(GiNZA)使ってみる]]   * 2020-12-16 | [[https://qiita.com/etnk/items/bda3f423434bd74d32df|Lambda+EFSで自然言語処理ライブラリ(GiNZA)使ってみる]]
   * 2020-10-10 | [[https://storage.googleapis.com/megagon-publications/GPU_Technology_Conference_2020/Japanese-Language-Analysis-by-GPU-Ready-Open-Source-NLP-Frameworks_Hiroshi-Matsuda.pdf|Japanese Language Analysis by GPU Ready Open Source NLP Frameworks]] - Hiroshi Matsuda, [[:universal_dependencies]], [[ライブラリ:spacy]], [[ライブラリ:stanza]]   * 2020-10-10 | [[https://storage.googleapis.com/megagon-publications/GPU_Technology_Conference_2020/Japanese-Language-Analysis-by-GPU-Ready-Open-Source-NLP-Frameworks_Hiroshi-Matsuda.pdf|Japanese Language Analysis by GPU Ready Open Source NLP Frameworks]] - Hiroshi Matsuda, [[:universal_dependencies]], [[ライブラリ:spacy]], [[ライブラリ:stanza]]
-  * 2020-09-27 | [[https://qiita.com/poyo46/items/7a4965455a8a2b2d2971|日本語NLPライブラリGiNZAのすゝめ]] - [[ライブラリ:spacy]], [[:文分割]], [[構文解析:top]], [[:自動要約]], [[:類似度]]+  * 2020-09-27 | [[https://qiita.com/poyo46/items/7a4965455a8a2b2d2971|日本語NLPライブラリGiNZAのすゝめ]] - [[ライブラリ:spacy]], [[生成:文分割]], [[構文解析:top]], [[:自動要約]], [[:類似度]]
   * 2020-07-07 | [[https://note.com/npaka/n/n5c3e4ca67956|GiNZA入門 (1) - 事始め]]   * 2020-07-07 | [[https://note.com/npaka/n/n5c3e4ca67956|GiNZA入門 (1) - 事始め]]
   * 2020-03-24 | [[https://qiita.com/yuto16/items/1fc1f2b79195a503c681|自然言語処理ライブラリGiNZAで固有表現抽出してみた]] - [[:固有表現認識]] - Qiita   * 2020-03-24 | [[https://qiita.com/yuto16/items/1fc1f2b79195a503c681|自然言語処理ライブラリGiNZAで固有表現抽出してみた]] - [[:固有表現認識]] - Qiita
(感想・要望・情報提供) 
.gz · 最終更新: 2022/04/29 14:24 by admin

(広告募集)