标签 nginx 下的文章

网络设备的配置备份,最怕的不是“没有工具”,而是设备数量慢慢变多以后,备份动作开始依赖人工记忆:有人改了交换机配置却忘了留档,有人调了防火墙策略却没有版本记录,真到回滚和排障的时候,才发现手上没有一份可信的基线。

Oxidized 这类工具的价值,就在于把这件事做成一条自动化流水线:定时登录设备、抓取 running-config、检测变更、写入 Git 仓库,并通过 Web 界面或 API 做统一查看。对中小规模网络来说,它足够轻,落地成本也很低。

阅读剩余部分

在多台 vLLM 推理节点同时提供服务时,最直接的做法通常是先在前面放一层 Nginx 做转发,再由上游节点共同承接请求。

但如果只是静态轮询,实际效果往往并不理想。因为大模型服务的负载并不均匀,某一台节点可能已经接近 KV Cache 极限、出现等待队列,甚至开始发生 preemption,而另一台节点却还比较空闲。这个时候,负载均衡如果不能感知后端状态,就容易把请求继续打到“已经很忙”的节点上。

阅读剩余部分