Kubeservice博客

是非审之于己,毁誉听之于人,得失安之于数

AI之 模型管理: huggingface 数据集/模型库 上传和下载

huggingface 数据集/模型库 上传和下载

huggingface 数据集/模型库 上传和下载 环境准备 云原生时代,golang为王; 而AI时代,Python为王。 需要安装Python相关的环境和libary包

AI之 (大)模型推理服务部署管理 - 模型版本、模型启动

ollama vs vllm vs SGLang

模型推理服务部署管理 - 模型版本、模型启动、openai接口标准提供 模型推理部署工具 模型部署,类似与docker可以方便的类似于docker run

AI之 NVIDAI GPU节点驱动安装和问题排除

NVIDAI GPU节点驱动安装和问题排除

NVIDAI GPU节点驱动安装和问题排除 前置要求 CentOS Linux release 7.9.2009 (Core) Kernel 5.4.x Kubernetes >= 1.10 GCC 版本 >= 9.3.1 NVIDAI device >= 384.81 Runtime 支持 nvidia-container-toolkit >= 1.7.0 cuda版本与 NVIDAI device 匹配 GPU Node 更新步骤 第一步. 出现GPU