What would you like to be added:
秒装模型接口
- 能够探测 llm 容器里面已有的模型文件:
climc llm-probed-models $llm_id
# 返回的结果里面有一个标记模型的 id ,下面称为 model_id
- 将模型文件保存成可以使用 post_overlay 挂载的镜像
climc llm-save-instant-model $llm_id $model_id
- 查看秒装镜像的信息
climc llm-instant-model-list
- 启用秒装模型
climc llm-instant-model-enable $id
使用秒装模型
- 秒装模型保存完后,就可以挂载到 llm 容器里面使用:
climc llm-quick-models --method install $llm_id $instant_model_id
- 把 llm 容器里面的秒装模型卸载:
climc llm-quick-models --method uninstall $llm_id $instant_model_id