8.8日，英偉達將發布全新產品：L40S

L40s的推出主要針對小幾百億參數模型推理（行業垂直應用）、相關模型微調訓練等無需高顯存容量和帶寬場景。目前大卡緊缺，小卡推理算力利用率極低（有實測情況可交流），高質量推理算力極爲緊缺，同時L40s專門優化了【FP32】的算力。

在使用ResNet50和Bert-Large經典模型下，L40s的推理性能和性價比皆優於A800。根據數據對比，可大致估算，L40s價格或在A800的50%左右（僅根據數據估算與大致判斷）。

L40s的推出：

不受CoWoS產能限制，供給充足，將改善算力產業鏈的預期。

將促進行業垂直模型更加快速、低成本落地。

note：L40s不是完全替代A800，而是在推理端：應用於小幾百億及其以下的參數模型的推理（例如一些垂域模型）；

訓練端：用於微調訓練（基於已經完成預訓練的模型，做fine-tuning等）。考慮到A800和H800受制於台積電CoWoS產能，缺貨嚴重，L40s實則對上述需求的增量供給。A/H卡在千億甚至未來萬億級別參數的大模型推理，以及大模型的預訓練階段仍然是不可替代的。

本文作者可以追加內容哦 !