Kubeservice博客

是非审之于己,毁誉听之于人,得失安之于数

AI之 模型仓库: model register 开源实现 modelx 2.0

基于kubegems/modelx实现开源模型仓库: modelx 2.0

基于kubegems/modelx实现开源模型仓库: modelx 2.0 一、为什么要自己设计模型仓库 目前 大模型 各个平台(例如: ollama、 huggingface hub、 modelscope) 基本

AI之 模型管理: huggingface 数据集/模型库 上传和下载

huggingface 数据集/模型库 上传和下载

huggingface 数据集/模型库 上传和下载 环境准备 云原生时代,golang为王; 而AI时代,Python为王。 需要安装Python相关的环境和libary包

AI之 (大)模型推理服务部署管理 - 模型版本、模型启动

ollama vs vllm vs SGLang

模型推理服务部署管理 - 模型版本、模型启动、openai接口标准提供 模型推理部署工具 模型部署,类似与docker可以方便的类似于docker run

技术方案之 Kubernetes大规模容器网络优化

Kubernetes大规模容器网络优化

技术方案之 Kubernetes大规模容器网络优化 背景 1.1 大规模集群特点 大业务:单模块超大规模副本(300+) 小业务:资源减少边际成本(平摊控制

技术分享之 CoreDNS 集群层粒度 autoscaling

CoreDNS 集群层粒度 autoscaling

CoreDNS DNS集群粒度 autoscaling 第一篇: 使用 NodeLocal DNSCache 提高 clusterDNS 性能和可靠性 一、什么是集群比例自动扩缩器 (Cluster Proportional Autoscaler即CPA) ? 集群比例自动扩缩器 (CPA) 是一

DevOps之 日志采集存储性能对比 es vs loki vs victorialogs

日志采集存储性能对比 es vs loki vs victorialogs

存储引擎介绍 elasticsearch 不多介绍 loki Promtail 采集器, 通过daemonset方式部署在全部node上。 通过promtail中 configmap 配置两个东西: a.配置固定路径下的

DevOps设计之 Kubenetes 容器日志收集方案

Kubenetes 容器日志收集方案

Kubenetes 容器日志收集方案 应用日志收集痛点 业务无要求: div.notices { margin: 2rem 0; position: relative; } div.notices p { padding: 15px; white-space: pre-wrap; display: block; margin-top: 0rem; margin-bottom: 0rem; color: #666; } div.notices p:first-child:before { position: absolute; top: 2px; color: #fff; font-family: "Font Awesome 5 Free"; font-weight: 900; content: "\f06a"; left: 10px; } div.notices p:first-child:after

技术方案之 Kubernetes Pod/Container NUMA亲和管理

Kubernetes Pod/Container NUMA亲和管理

Kubernetes Pod/Container NUMA亲和管理 背景 先前工作中大量使用基于CPU、Memory亲和的感知调度实现, 目前对这部分统一梳理下,,NUMA 感知涉及 memory 和cpu的