NVIDIA 推出 DriveOS LLM SDK，助力自动驾驶汽车创新

Zach Anderson
2025 年 3 月 11 日 02:24

NVIDIA 推出 DriveOS LLM SDK，以促进在自动驾驶汽车中部署大型语言模型，从而以优化的性能增强 AI 驱动的应用程序。

NVIDIA 发布了其最新创新成果 DriveOS LLM SDK，旨在简化自动驾驶汽车中大型语言模型 (LLM) 的部署。NVIDIA 表示，这一进展代表着人工智能驱动汽车系统能力的重大飞跃。

优化 LLM 部署

DriveOS LLM SDK 旨在优化 NVIDIA DRIVE AGX 平台上最先进的 LLM 和视觉语言模型 (VLM) 的推理。该 SDK 基于强大的 NVIDIA TensorRT 推理引擎构建，并结合了 LLM 特定的优化，包括自定义注意内核和量化技术，以满足资源受限的汽车平台的需求。

主要功能和组件

SDK 的关键组件包括用于专业性能的插件库、用于无缝集成多模式输入的高效标记器/去标记器，以及用于优化文本生成和对话任务的基于 CUDA 的采样器。解码器模块进一步增强了推理过程，可在各种 NVIDIA DRIVE 平台上实现灵活、高性能的 LLM 部署。

支持的模型和精度格式

SDK 支持一系列先进模型，例如 Llama 3 和 Qwen2，其精确格式包括 FP16、FP8、NVFP4 和 INT4，可减少内存使用量并提高内核性能。这些功能对于在延迟和效率至关重要的汽车应用中有效部署 LLM 至关重要。

简化的工作流程

NVIDIA 的 DriveOS LLM SDK 将复杂的 LLM 部署过程简化为两个简单的步骤：导出 ONNX 模型和构建引擎。此简化的工作流程旨在促进在边缘设备上的部署，使其可供更广泛的开发人员和应用程序使用。

多模式能力

该 SDK 还满足了汽车应用中对多模式输入的需求，支持 Qwen2 VL 等模型。它包括用于图像预处理的 C++ 实现，将视觉输入与语言模型对齐，从而拓宽了自动驾驶系统中 AI 功能的范围。

结论

DriveOS LLM SDK 利用 NVIDIA TensorRT 引擎和 LLM 特定的优化技术，为在 DRIVE 平台上部署高级 LLM 和 VLM 树立了新标准。此举有望提高自动驾驶汽车中 AI 驱动应用程序的性能和效率，标志着汽车行业技术发展的重要里程碑。

图片来源：Shutterstock