先确定模型能否装进显存
提供模型、推理或训练用途、精度、批次大小和上下文长度。显卡型号相同,也应核对显存规格;不确定时先用自己的任务验证。
多卡需要软件配合
多张显卡不等于应用可以直接使用一整块合并显存。确认框架的多卡支持、并行方式和卡间通信要求,再选择 GPU 数量。
不建议只按显卡数量下单
数据读取慢、CPU 预处理不足或模型不支持所选并行方式时,多加显卡可能仍然等待。把 CPU、内存、存储和数据上传时间一并评估。
交付环境提前确认
下单前确认系统、驱动、运行框架、磁盘空间和使用周期。商品列出的硬件规格用于选型,实际处理速度应以自己的模型测试为依据。
