GPU 资源管理

INFO

只有 Olares 管理员可以修改 GPU 模式。这样可以避免资源冲突，保证系统整体的 GPU 性能稳定可预测。

Olares 让你管理各应用对 GPU 资源的使用，充分发挥 GPU 算力，满足 AI、图像与视频生成、转码和游戏等工作负载的需求。

本文将为你介绍：

• Olares 中的 GPU 分配机制。
• 应用状态如何影响 GPU 资源分配操作。
• 不同 GPU 模式的区别，以及各自的适用场景。

了解 GPU 分配

在 Olares 中，授予应用访问 GPU 资源的权限称为绑定。解绑则是移除该访问权限，以便释放 GPU 资源并重新分配。

能否绑定或解绑应用，主要取决于该应用是处于“运行中”还是“暂停”状态。

应用状态	绑定（授予访问权限）	解绑（移除访问权限）
运行中	支持	不支持。请先暂停应用。1, 2
暂停	不支持。请先恢复应用。	支持

1. 暂停应用会暂停其工作负载，但不会自动移除分配的 GPU 资源。如需彻底释放 GPU 或显存资源供其他工作负载使用，你必须先暂停应用，然后手动将其解绑。
2. 多 GPU 例外情况：如果一个应用被分配到同一节点上的多个 GPU，你可以在其中一个 GPU 上将该应用解绑，该应用在其他 GPU 上仍保持运行。

你可以通过以下方式查看应用是否正在运行：

• 应用商店 > 我的 Olares：当前状态会显示在应用卡片上。
• 设置 > 应用：当前状态会显示在应用列表中。
• 启动台：已暂停的应用会在名称旁显示一个橙色圆点。

GPU 模式及其适用场景

Olares 支持三种 GPU 模式。每种模式决定了 GPU 资源的共享方式，以及切换模式后，正在运行的应用会受到什么影响。

DGX Spark 支持

在 DGX Spark 上，你可以使用显存分片和应用独占模式来管理 GPU 资源。

GPU 模式	资源共享方式	切换到该模式后	适用场景
时间分片（默认）	多个应用随时间推 移共享同个 GPU。	需要使用 GPU 且运行中的应用将被自动分配资源，共享该 GPU。	同时运行多个依赖 GPU 的应用。
显存分片	多个应用共享同一 块 GPU，每个应用 有固定的显存分配。	需要使用 GPU 且运行中的应用会被自动添加，并分配其运行所需的最小显存。	同时运行多个依赖 GPU 的应用，并严格控制显存占用。
应用独占	单个应用独占 GPU 的完整资源，不受打 断。	系统自动选择一个需要使用 GPU 且运行中的应用，并赋予其独占访问权限。	需要最大性能的重负载任务，例如大模型、渲染或高性能游戏。

应用中断提示

切换 GPU 模式会重新分配硬件资源。根据你选择的模式，当前正在使用 GPU 的应用可能会被自动暂停。

切换模式后，请检查各应用的状态，并在需要时手动恢复运行。

后续步骤

• 管理单 GPU 资源
• 管理多 GPU 资源