企业官网建设流程全解析

Overlord：Bilibili 的缓存代理与集群管理方案

Overlord 在 GitHub 上已收获 2,254 个 Star。

这是 Bilibili 用 Go 语言写的缓存中间件，目标是为 memcache 和 Redis 提供一套自动化、高可用的代理与集群管理方案。它已经被 Bilibili 用于生产环境。

1、它解决什么问题

缓存服务到一定规模后，运维复杂度会明显上升。Redis Cluster 的节点管理、slot 迁移、扩缩容，memcache 的多实例代理，这些事情如果全靠人工和脚本维护，出错概率高，效率也低。

Overlord 把代理层和集群管理层放在一起。对业务侧，它扮演一个稳定的缓存代理；对运维侧，它提供平台化的节点管理、扩缩容和数据同步能力。这样可以把缓存服务的日常操作收敛到统一入口，减少散落在各处的运维脚本。

2、核心组件有哪些

Overlord 不是单一进程，而是一组组件协作完成缓存服务。

proxy 是轻量高可用的缓存代理模块，支持 memcache 和 Redis 协议。它和 twemproxy 类似，但额外支持 Redis Cluster，也能把自己伪装成 cluster 模式，让客户端以为自己在访问原生集群。对于不想改客户端代码、又希望后端具备集群能力的团队，这一点比较实用。

platform 是管理平台，包含 apiserver、mesos framework 和 executor，以及负责集群节点任务管理的 job 模块。它基于 mesos 和 etcd 实现自动化节点调度，把创建节点、扩缩容、故障恢复等流程串起来。

GUI 是 web 管理界面，通过 dashboard 完成创建删除、扩缩容、加减节点等操作，把集群状态可视化。

anzi 是 Redis Cluster 数据同步工具，可以服务化运行，和 apiserver 配合完成数据迁移。

enri 是 Redis Cluster 集群管理工具，支持创建集群、迁移 slot 等操作。

3、架构是怎样的

Overlord 的架构可以分成两层：上层的 platform 负责集群生命周期管理，下层的 proxy 负责请求转发和协议处理。

业务请求先打到 proxy，proxy 根据配置把请求路由到后端的 memcache 或 Redis 节点。platform 则通过 mesos 和 etcd 调度节点，执行扩缩容、failover 等任务。GUI 作为入口，把 platform 的能力以界面形式暴露出来。

这种分层设计让代理层可以独立部署和扩容，管理层也不会成为请求路径上的瓶颈。需要调整集群拓扑时，改动集中在 platform 和 GUI，业务流量不受影响。

4、适合谁用

如果你在维护较大规模的 memcache 或 Redis 集群，经常需要做节点扩缩容、slot 迁移、数据同步，Overlord 提供了一套完整的方案。

对于已经在使用 mesos 做资源调度的团队，platform 组件会比较自然地融入现有基础设施。如果只需要一个轻量的缓存代理，也可以单独部署 proxy。

文档以简体中文为主，对国内开发者比较友好。Overlord 是一个经过生产环境验证的缓存中间件，适合需要统一代理和集群管理的团队参考或直接采用。

rd 是一个经过生产环境验证的缓存中间件，适合需要统一代理和集群管理的团队参考或直接采用。