管理 GPU 使用

INFO

只有 Olares 管理员可以修改 GPU 模式。这样可以避免资源冲突，保证系统整体的 GPU 性能稳定可预测。

Olares 让你充分发挥 GPU 的算力，加速 AI、图像和视频生成及游戏等高负载任务。你可以在 Olares 的设置页面，统一管理 GPU 资源。

本文将为你介绍：

• 如何选择合适的 GPU 模式。
• 如何逐步配置 GPU 模式。

选择合适的 GPU 模式

请参考下表，根据你的工作负载，选择最适合的 GPU 模式。

GPU 模式	定义	适用场景
时间分片（默认模式）	多个应用轮流使用算力 和显存来共享同一个 GPU。	通用负载，或同时测试多个轻量级 应用。
应用独占	单个应用独占一个 GPU 的 全部算力和显存。	需要最高稳定性的重型负载（如 大语言模型、大型游戏）。
显存分片	GPU 显存被划分为固定的配额； 应用在各自限额内并发运行。	同时运行特定应用，并严格限制 每个应用的显存使用量。

查看 GPU 状态

查看当前 GPU 及其使用情况：

1. 进入设置 > GPU。
2. 查看列表中的 GPU 型号、所属节点、总显存和当前模式。
3. 点击某块 GPU 进入详情页。

TIP

如果你的 Olares 只有一块 GPU，Olares 可能会直接打开 GPU 详情页。

配置 GPU 模式

按照以下步骤更改 GPU 的使用方式：

1. 进入设置 > GPU。
2. 点击需要配置的 GPU。
3. 在 GPU 模式下拉菜单中选择一种模式。

重启提示

更改 GPU 模式会解绑该 GPU 上的应用并重启其容器。

重启后，如果仍有 GPU 处于时间分片模式，未绑定 GPU 的应用会被自动调度并绑定到该 GPU。

时间分片

时间分片是 Olares 的默认模式。使用此模式可以让多个应用程序共享资源。

未绑定 GPU 的应用会被自动调度到处于时间分片模式的 GPU 上。

绑定应用

将应用分配给当前 GPU：

1. 在绑定应用区域，点击绑定应用。
2. 选择目标应用并点击确认。

切换 GPU

同节点限制

一个应用只有在多个 GPU 位于同一节点时，才能同时使用这些 GPU。如果将应用切换到位于不同节点的 GPU，该应用将被移出原节点，并仅绑定到目标 GPU。

如果系统中有多个 GPU，你可以将已绑定的应用移动到另一个 GPU：

1. 在绑定应用区域，找到要切换的应用。
2. 点击 repeat 图标，选择目标 GPU 并点击确认。

解绑应用

将应用从当前 GPU 移除：

1. 在绑定应用区域，找到你想解绑的应用。
2. 点击 link_off 图标，然后点击确认。

应用独占

使用应用独占模式，可以将整块 GPU 完全分配给一个高负载应用。

绑定应用

让某个应用独占该 GPU：

1. 在 选择独占应用 区域，点击 绑定应用。
2. 选择目标应用，然后点击 确认。

切换应用

用新应用替换当前的独占应用：

1. 在选取独占应用区域，点击切换应用。
2. 选择新应用并确认。

原应用会解除绑定，新应用将独占该 GPU 的资源。

切换 GPU

如果你的系统有多块 GPU，你可以将独占应用切换到另一块 GPU：

1. 在选取独占应用区域，点击 repeat。
2. 选择目标 GPU 并确认。

同节点限制

一个应用只有在多个 GPU 位于同一节点时，才能同时使用这些 GPU。如果将应用切换到位于不同节点的 GPU，该应用将被移出原节点，并仅绑定到目标 GPU。

解除绑定

取消该 GPU 的独占绑定：

1. 在选取独占应用区域，点击 link_off。
2. 点击确认。

显存分片

使用显存分片模式可以同时运行多个应用，并严格限制它们的显存使用上限。

绑定应用并分配显存

在显存分片模式下，你可以绑定应用并为其设置显存上限：

1. 在分配显存区域，点击绑定应用。
2. 选择目标应用，设置显存大小（GB），并点击确认。

   注意

   所有应用的显存配额之和不能超过 GPU 的物理显存上限。

3. 如有需要，重复以上步骤为其他应用分配显存。

了解更多

• 监控 Olares 中的显卡使用情况