Skip to content

[Feature] llm model 使用 post_overlay 功能实现秒装挂载模型 #23711

@zexi

Description

@zexi

What would you like to be added:

秒装模型接口

  1. 能够探测 llm 容器里面已有的模型文件:
climc llm-probed-models $llm_id
# 返回的结果里面有一个标记模型的 id ,下面称为 model_id
  1. 将模型文件保存成可以使用 post_overlay 挂载的镜像
climc llm-save-instant-model $llm_id $model_id
  1. 查看秒装镜像的信息
climc llm-instant-model-list
  1. 启用秒装模型
climc llm-instant-model-enable $id

使用秒装模型

  1. 秒装模型保存完后,就可以挂载到 llm 容器里面使用:
climc llm-quick-models --method install $llm_id $instant_model_id
  1. 把 llm 容器里面的秒装模型卸载:
climc llm-quick-models --method uninstall $llm_id $instant_model_id

Metadata

Metadata

Assignees

No one assigned

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions