===== Wiki-40B =====

^wiki40b|[[https://www.tensorflow.org/datasets/catalog/wiki40b]]| 

==== Wiki-40Bとは ====
[[データ:wikipedia]]のクリーンアップテキスト(日本語を含む40言語) 。

==== 記事 ====
  * 2020-09-26 | [[https://hironsan.hatenablog.com/entry/how-to-use-wiki40b|Wikipediaの前処理はもうやめて「Wiki-40B」を使う]]
    * 3.16GB (1GB=5.6億文字とすれば 17.7億文字)