目次
Wiki-40B
Wiki-40Bとは
記事
Wiki-40B
wiki40b
https://www.tensorflow.org/datasets/catalog/wiki40b
Wiki-40Bとは
Wikipedia
のクリーンアップテキスト(日本語を含む40言語) 。
記事
2020-09-26 |
Wikipediaの前処理はもうやめて「Wiki-40B」を使う
3.16GB (1GB=5.6億文字とすれば 17.7億文字)