AWS Machine Learning Blog· Shantanu Tripathi·· 2 小时前精选AI 评分77
Amazon SageMaker Inference 支持 GPU 分区，可在端点上使用 NVIDIA MIG
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现支持使用 NVIDIA Multi-Instance GPU（MIG）将 GPU 划分为硬件隔离的分区，并通过 inference components 将不同模型部署到各自分区。
来源：AWS Machine Learning Blog · aws.amazon.com