GPUStack 使用 Docker Compose 自定义 vLLM 镜像升级 Transformers

概述在实际生产环境中，GPUStack 内置的 vLLM 版本可能无法及时适配最新的模型。例如某些新模型需要 transformers 5.5.0 以上版本以及 vllm[audio] 依赖，而官方镜像尚未包含这些依赖。 本文介绍如何通过 Docker Compose + 自定义 Dockerfile 的方式，快速构建适配 vllm/vllm-openai:v0.19.0 的推理镜像并部署。 构建
工具 > Docker
#GPUStack #vLLM #模型部署 #LLM推理 #Docker Compose

GPUStack 添加自定义 vLLM / SGLang 版本教程

概述GPUStack 支持可插拔的推理引擎架构，允许自定义推理后端及其版本，用于引入 GPUStack 未内置的 vLLM / SGLang / MindIE 版本，或接入其他自定义推理引擎镜像。 本文以 vLLM v0.19.0 和 SGLang v0.5.10 为例，演示如何在 GPUStack 中添加自定义推理后端版本。 添加 vLLM 自定义版本在推理后端菜单中，编辑
工具 > AI
#GPUStack #vLLM #SGLang #模型部署 #LLM推理

Ubuntu 挂载 JuiceFS 分布式文件系统

JuiceFS 简介JuiceFS 是一个高性能的分布式文件系统，支持将对象存储（如 S3）和 Redis 组合成功能完整的 POSIX 文件系统。本指南详细介绍在 Ubuntu 上安装配置 JuiceFS 的完整流程，适合需要挂载共享存储的场景（如模型存储、AI 训练数据共享等）。 前置要求 Ubuntu 系统（本文基于 Ubuntu 20.04+ / 22.04+ 测试） 一个可用的
工具 > Linux
#JuiceFS #Linux #分布式文件系统 #Ubuntu

PVE 虚拟机 Linux 系统盘扩容指南（ext4+LVM）

在 PVE 环境中创建的 Linux 虚拟机（尤其是使用 Q35 虚拟化类型），默认分配的磁盘空间可能不够用。本文详细介绍如何在虚拟机内部在线扩容 ext4 文件系统，整个过程无需重启。 0. 前置知识在扩容之前，先了解当前磁盘的层次结构： 123456物理磁盘 /dev/sda ├─ /dev/sda1 (1G, EFI 分区) ├─ /dev/sda2 (2G, /boot 分区)
工具
#Linux #PVE #Proxmox #虚拟机 #运维 #LVM #ext4

开启 PVE 虚拟机的 Serial TTY 实现无头服务器连接

在管理无头（Headless）服务器或虚拟机时，没有图形界面，SSH 虽然常用，但有时候内核崩溃或网络配置出错后 SSH 就连不上了。这时候 Serial Console（串口控制台）就派上用场了——它直接通过串口与虚拟机通信，不依赖网络，只要串口通了就能进入系统。 本文记录如何在 PVE 虚拟机中开启 Serial TTY，即让虚拟机通过 ttyS0 暴露一个串口终端，方便在 PVE Web U
工具
#PVE #Proxmox #虚拟机 #运维 #Serial Console

PVE 虚拟机克隆后清理唯一标识符指南

在 PVE（Proxmox VE）环境中，克隆虚拟机（尤其是使用”完整克隆”）时，虽然 PVE 会自动生成新的 VM ID 和虚拟硬件 UUID，但操作系统内部的某些标识符（如 Machine ID、网卡 UUID、SSH 密钥等）往往会被原封不动地保留。这确实会导致 K8s 集群节点冲突、网络分配问题或云平台注册失败。以下是彻底清除这些唯一标识符的步骤： 1. 核心：重置 Machine ID大
工具
#PVE #Proxmox #虚拟机 #K8s #运维

使用 uv 优化 Docker 镜像构建

前言在 Python 项目中，使用 uv 作为包管理工具可以显著提升依赖安装速度。本文介绍如何用 uv 优化 Docker 镜像构建，实现更好的缓存命中和更小的镜像体积。 核心思路uv 的设计目标之一就是快，这体现在 Docker 构建场景中就是： 更小的基础镜像 - 不需要预装 pip、venv 等 更好的缓存命中 - 分离依赖安装和代码拷贝 更快的安装速度 - uv 安装依赖比 pip 快
工具 > Docker
#Python #uv #Docker

Win11 右键菜单恢复 Win10 风格

很多朋友升级到 Windows 11 后，会对新的右键菜单感到不适应——常用选项被收纳到「显示更多选项」里，每次都要多点一次才能看到想要的内容。其实通过一条注册表命令，就可以把 Win11 的右键菜单恢复成 Win10 的样式。本文就来详细介绍操作步骤。 操作步骤第一步：打开管理员终端用鼠标右键点击「开始」按钮，或者直接按 Win + X 组合键，选择 「Windows 终端（管理员）」。 第二
工具 > Windows
#Windows #Win11 #注册表