言語表現に対する確率分布のこと。任意の言語表現を入力すると、その表現がその言語でどの程度自然か、あるいはよく見かけるかを確率の形で出力する。 最近ではBERTやGPT-3などの大規模で多用途な言語モデルに対して基盤モデルと呼ぶこともあるが、この用語はまだ普及しているとまでは言えない。