===== vLLM ===== * 2023-06-22 | [[https://gigazine.net/news/20230622-vllm-paged-attention/|大規模言語モデルの出力スピードを最大24倍に高めるライブラリ「vLLM」が登場、メモリ効率を高める新たな仕組み「PagedAttention」とは?]]