做IT运营的人,2025年应该都有一个共同的感觉:事情越来越多,系统越来越复杂,但能拍板的人越来越少,能解释清楚“为什么挂了”的人也越来越少。这不是某个团队的问题,整个行业都在同一个浪里。前几年大家聊的是“上云”“容器化”“DevOps转型”,到了2025年,话题变成了“怎么在系统复杂度已经失控的情况下,把可用性、成本、安全、交付速度同时稳住”。很多人觉得IT运营就是要跟上新技术,其实2025年最大的挑战不是技术不够新,而是旧的技术栈、旧的组织方式、旧的工作习惯,已经开始撑不住新的业务压力了。
这篇文章想跟你聊聊我观察到的、以及亲自踩过的那些坑:2025年IT运营模式到底在经历什么变化,我们应该怎么调整工具链、组织结构和做事方式。内容偏务实,不讲虚的趋势,只讲能落地的东西。适合正在带运维团队的管理者、被事件压得喘不过气的值班工程师,以及想做技术转型但不知道从哪下手的运维新人。
1. 2025年IT运营环境到底变了什么
1.1 系统的复杂度已经超出人脑管理极限
先说一个很直接的变化:现在一个业务请求要经过的环节,可比五年前多太多了。以前一个典型的单体应用,也就是几台服务器、一个数据库、再加个负载均衡,出了问题翻日志就能定位。现在呢,前端是微服务,后面还有网关、消息队列、缓存、数据中间件、对象存储,再加上Kubernetes这一层调度,底层又是混合云环境——物理机房、私有云、公有云混着用。一个请求打过来,涉及的容器实例可能几十个,调用链跨度可能几百毫秒,中间任何一个环节抖动,用户感知的就是“页面卡了”或者“下单失败”。
这种情况下,最直接的感受就是:告警变多了,但告警的质量在下降。以前一条告警基本能对应一个清晰的故障,现在往往是A服务的超时引发B服务的重试,B服务的重试又把C服务的连接池打满,最后满屏都是告警,但真正的根因可能只是某个底层节点的一次网络抖动。我见过不少团队的监控大屏,几十个面板全是红的,但没人能在一分钟内说清楚“现在到底什么服务在受影响,影响多大的用户量”。
这就是2025年IT运营环境的第一个本质变化:系统的复杂度已经不是靠增加值班人数能解决的了。人处理信息的能力是有上限的,一个工程师同时盯几个屏幕,能有效处理的告警数量也就是每小时那么几十条,再多就开始麻木了,反而会漏掉真正关键的那一条。
1.2 运维的评判标准变了:可用性不再是唯一KPI
第二个变化,是业务的评判标准。以前衡量运维干得好不好,核心就是一句话:系统别挂。年度可用性99.9%还是99.99%,决定了这个团队是优秀还是及格。但到了2025年,这一套已经不太够用了。
原因是业务侧的口味变了。现在的互联网产品,迭代速度是按周甚至按天算的,今天上线的功能如果明天用户没反应,那这个需求基本就是失败的。可用性当然重要,但业务方更关心的是“你这个星期能不能支持我上线三次”,而不是“你这个季度有没有做到四个9”。换句话说,稳定性和交付速度之间的矛盾,开始被摆到台面上来。
同时,成本也成了一个硬指标。前几年云资源随便开,存储桶里躺着一堆没人删的备份,也没人说什么。但这两年,几乎所有公司都在强调降本增效,IT部门作为最大的成本中心之一,自然被盯上了。运维团队不仅要保证系统稳定,还要解释清楚“为什么资源消耗涨了30%”“哪些闲置资源可以回收”。这就逼着运维从纯粹的技术角色,变成一个需要算账的角色。
再加上安全合规的要求越来越严格,等保、数据安全、个人信息保护这些合规项,都落到了运维头上。以前安全是安全团队的事,运维只要开好端口、配好权限就行,现在出了问题,运维要跟着一起背锅。可用性、交付速度、成本、安全,四个维度同时要抓,以前那种“只要系统稳就行”的思路,确实顶不住了。
1.3 这就是AIOps和平台工程出现的原因
这些变化叠加在一起,行业里自然就开始找新的出路。你去看这两年的技术趋势,AIOps和平台工程是被提到最多的两个词。有人说这是厂商在炒作概念,但实际用过之后我的感受是,这两个方向确实是冲着真问题去的。
AIOps想解决的是“信息过载”的问题。告警太多,人看不过来,那就用算法先把告警压缩、聚类、降噪,甚至自动做根因分析。它的核心价值不在于“AI自动修复故障”这种科幻场景,而在于把几百条告警变成两三句话:“支付服务在过去15分钟出现了调用延迟,疑似由数据库连接池打满导致,建议检查慢查询。”这一下子就能把MTTR(平均修复时间)从小时级压到分钟级。
平台工程想解决的是“研发和运维之间的协作效率”问题。开发团队不想管服务器,不想配网络,不想跟基础设施的复杂性死磕,那就把运维能力封装成一个自助服务平台。开发者点几下页面、填几个参数,就能拿到一套带监控、带日志、带告警的完整环境。底层那些复杂的容器调度、网络策略、权限控制,平台团队在背后消化掉。
所以你会发现,这两个方向并不是谁替代谁,而是分别从“机器代替人看”和“平台代替人扛”两个角度,去缓解2025年IT运营的核心矛盾。接下来,我把这两条线的具体打法拆开讲。
2. 工具链与工作方式的三大转向
2.1 从监控到可观测性:数据要从“能看”到“能用”
工具链的第一个转向,是从传统监控走向可观测性。这不是换一个时髦的词,而是解决问题的思路变了。
传统的监控思路是“预设问题”:我先猜可能出问题的地方,比如CPU会不会高、内存会不会满、某个端口会不会挂,然后给这些指标设阈值,超了就报警。这种思路在系统简单的时代很管用,但现在的故障往往是跨服务的,甚至是你完全没预料到的。你预设了100个指标,结果真正出问题的是第101个,监控系统就成了摆设。
可观测性的思路是“事后可查”:我不猜哪里会出问题,但我保证把所有相关的数据——日志、指标、调用链——都完整记录下来,并且让它们能关联查询。出了问题,不需要翻十套系统,而是一键就能看到“这次请求走了哪些服务、每一跳花了多少时间、哪个环节报了什么错”。这个概念有一个很形象的说法:监控告诉你系统现在病了,可观测性告诉你系统得了什么病、病根在哪。
落到实操层面,要做的事情很具体:
统一数据采集层。别再让每个团队自己搭一套日志系统、自己埋一套监控点了,用统一的Agent采集指标、日志、链路追踪数据,标准化数据格式。2025年行业里的主流选择基本收敛到两类:一类是CNCF基金会主推的OpenTelemetry,负责采集和标准化;另一类是集中式的数据后端,比如各类兼容Prometheus协议的时序库,以及承载日志和链路数据的集中存储。
打通三类数据的关联。日志、指标、链路追踪这“三支柱”缺一不可,但更关键的是它们能互相关联。出问题时,你能从一条链路追踪记录,直接跳到对应的日志片段和那一时刻的指标曲线。Azure、AWS这些大厂云的原生监控服务都在做这件事,开源领域现在也有成熟的方案,比如用OpenTelemetry统一采集、用集中后端做关联存储,二次开发成本已经比我几年前做的时候低太多了。云上的托管版如果要考虑成本,也可以先用足够长的指标保留周期,同时控制日志的高成本存储规模,这样既能做历史对比,又不至于账单失控。
适当减少对“黑盒探测”的依赖。外部拨测、健康检查这类黑盒监控仍然需要,但不能作为唯一的信息来源。黑盒只能告诉你“外面看起来挂了”,可观测性才能告诉你“里面发生了什么”。成熟的团队通常两层都上,对外用黑盒做用户体验监测,对内用白盒做深度定位。
有人会问,这些数据量那么大,存储成本受得了吗?这就是一个需要做取舍的地方了。经验做法是分级存储:核心业务的全量数据保留30天,边缘业务的指标降采样保留90天,日志类的数据可以选择冷热分层。成本是现实的约束,可观测性建设如果完全不考虑成本,方案再好也推不下去。
2.2 AIOps不等于自动修故障:先让AI帮你过滤告警
很多人一听到AIOps,第一反应就是“AI能自动修复故障了吗”,每次我听到这个问题都挺无奈的。以目前的技术成熟度,让AI全自动处理故障在绝大多数公司都还不现实,但AI在运维领域的价值已经非常明显了,只不过它落地的位置在“辅助人”而不是“替代人”。
目前AIOps最成熟的三个应用场景,我按落地难度从小到大排一下。
第一个是告警降噪。告警风暴是每个运维团队的噩梦,系统一抖动,监控系统就像疯了一样往外吐告警,群里消息每秒几十条,真正有价值的信号完全被淹没。告警降噪就是让AI把相似的告警聚成一类,把由同一个根因触发的多个告警合并成一条事件。比如某个数据库节点CPU飙高,可能会触发该节点的20条告警,同时触发下游服务的30条超时告警。没有AI降噪的时候,值班人要处理50条告警;有了之后,看到的是一条聚合后的事件:“数据库节点X CPU异常,疑似引发下游50个服务调用超时,受影响范围...”。这个是当前AIOps里ROI最高的功能,基本属于上了一套就回不去的那种。
第二个是异常检测。传统的阈值告警有两个死穴:一是固定阈值适应不了业务流量波动,比如大促期间QPS翻十倍,CPU本身就该高,你设一个80%的告警阈值,白天没到、凌晨反而到了,结果凌晨的告警根本没人看。二是阈值设得太灵敏就狂报警,设得太宽松就漏报。基于时序数据的异常检测算法,可以根据历史数据建立动态基线,今天同时段流量该是什么水平,偏离多少算异常,这个判断比人拍脑袋设阈值靠谱得多。
第三个是根因分析,这个最具挑战性,也是争议最大的场景。目前的算法水平,在服务数量几百个以内的规模下,能做到比较有参考价值的推荐:根据调用链数据、变更事件、日志异常模式,给出一个“最可能的根因TOP5”。但它还不能替代人去定性,因为很多时候所谓的根因,其实是更深层问题的表现。比如算法告诉你“根因是订单服务内存溢出”,但你往下一查,发现内存溢出是因为上游流量突增,流量突增是因为某个营销活动没做限流。这一层因果链,AI目前还解释不了。
所以落地AIOps的正确姿势是:把AI当作一个特别能干的分析师,而不是一个全自动决策者。告警降噪可以大胆开,异常检测可以逐步扩大覆盖面,根因分析谨慎试用,把它输出的结论当作排查线索,而不是处理依据。
2.3 平台工程:把基础设施变成自助服务
如果说AIOps是“机器替人看”,那平台工程就是“把复杂性消化在平台层”。
现在研发团队和运维团队的矛盾,本质上是一个“信息差”和“重复劳动”的问题。研发想让代码尽快上线,不想等运维分配环境、配置权限、调试网络;运维不敢放手,怕研发乱搞导致故障,只能层层设卡。两边都累,效率还低。
平台工程的核心思路是像做产品一样做运维。运维团队不再直接面对所有开发者,而是沉淀一个内部开发者平台,把基础设施能力封装成标准化的、可自助申请的服务。开发者在这个平台上点几个按钮,或者调用一个API,就能拿到连接好监控、日志、链路追踪、CI/CD的应用环境。
一个典型的内容开发者平台,通常长这样:
| 组成模块 | 干什么用的 | 常用技术选择 |
|---|---|---|
| 自助服务门户 | 开发者申请资源、查看权限、管理环境 | Backstage或自研简易门户 |
| 基础设施编排层 | 把环境申请变成自动化流程 | Terraform、Crossplane、云厂商编排服务 |
| 应用交付流水线 | 代码提交后自动完成构建、测试、部署 | Argo CD、云厂商CI/CD服务 |
| 运行时环境管理 | 统一管理容器、网络、配置、密钥 | Kubernetes及配套CNCF组件 |
| 可观测性与反馈层 | 环境自带监控、日志、链路追踪能力 | Prometheus、Loki、OpenTelemetry等组合 |
平台工程的价值在于,它把以前十几个团队重复做的事,收敛成平台团队做一次,然后所有人都受益。可能有人担心平台团队会变成新的瓶颈——毕竟所有需求都要提到平台这里来。这一点平台工程也有应对思路,就是“平台即产品”的理念:平台定义好标准和接口,把自主权交给使用方,平台团队只负责基础能力和通用模块,特殊需求通过扩展接口解决,而不是所有事情都人肉处理。
我见过落地平台工程比较好的团队,内部甚至形成了“Golden Path”文化:平台提供一个最佳实践路径,70%的普通场景走这条路是最省事的;剩下30%的特殊场景可以不走,但你必须自己承担额外的复杂度。这既保证了规范性,又不至于把灵活性卡死。
3. 组织与人的转型才是最大的坎
3.1 运维团队从“消防队”向“产品团队”演进
工具链的转型一般两三个季度就能看到效果,真正难的是人的转型和组织结构的调整。我见过太多团队,上了最先进的AIOps平台,买了最好的可观测性产品,但组织还是老样子:值班的只管盯着告警、抄送故障;基础设施组埋头维护虚拟机、网络设备,跟业务方的对话永远是“我们这边没问题,你再查查”。工具是新的,人的协作方式还是旧的,结果就是东西买了一大堆,效率没什么变化。
2025年,运维团队的职能分化已经很明显了。我观察到的成熟团队,基本会分成这样几类角色:
SRE(网站可靠性工程师):核心职责是保证服务的稳定性,但他们的工作方式不是“救火”,而是用工程化的手段消除火情。他们日常在做的事是:定义SLO、做错误预算、设计容灾方案、跟开发一起做容量规划。一个典型的特征是,SRE花在“写代码”上的时间,比花在“处理告警”上的时间多。
平台工程师:专门负责内部开发者平台的建设,把基础设施能力产品化。他们服务的用户不是终端用户,而是公司内部的研发团队。这一类角色更贴近“做产品”,要懂用户体验、要收集反馈、要持续迭代。
运维开发工程师:介于运维和开发之间的角色,负责写自动化脚本、开发运维工具、维护CI/CD流水线、搭建监控数据大盘。他们是运维团队里最有代码能力的一批人,是把“手工操作”变成“自动化平台”的执行层。
可观测性工程师:专注在数据领域,负责日志、指标、链路追踪的采集、存储、分析系统的建设。他们不一定需要深度参与日常值班,但在故障定位时,他们搭建的系统是所有人依赖的核心工具。
还有一个趋势值得注意:传统意义上的“应用运维”岗位在肉眼可见地减少。现在的新系统基本都跑在容器和Kubernetes上,部署是流水线自动做的,扩容是HPA自动做的,健康检查是探针自动做的,监控是统一平台做的。如果一个运维工程师的核心技能是“登录服务器敲命令”,那他确实会越来越没有用武之地。这不是吓唬人,而是这一两年我看到的真实行业情况。
3.2 运维开发化:写代码不再是开发者的专利
运维开发化这个趋势,本质上是因为:当系统规模大到一定程度,手工操作就成了最大的风险源。
我见过不少事故,复盘下来直接原因特别可笑——某工程师半夜起来处理故障,迷迷糊糊在终端里敲错了命令,把生产环境的某个配置给改了。或者是有人手动执行了一百遍操作步骤,其中某一步漏掉了,导致前后配置不一致。人做重复性工作,犯错是概率问题,做得越多错得越多。唯一的解法就是把这些重复操作变成代码、变成自动化流程。
落地运维开发化,不需要团队里人人都是高级软件工程师,但有几个方向是必须掌握的:
基础设施即代码。用Terraform这类工具管理云资源、网络、存储,所有环境配置都写在代码仓库里,走版本管理和评审流程。好处有两个:一是配置变更可回溯,昨天谁改了什么,Git提交记录里一目了然;二是环境可以一键重建,测试环境和生产环境保证一致,彻底告别“在我这是好的”这个世纪难题。
配置即代码与管理。用Ansible这类工具做批量配置管理,用Helm或Kustomize管理Kubernetes应用配置。配置发版不再是一台台登录服务器去改文件,而是提交一个Pull Request,等自动化流水线完成部署。
Pipeline即代码。Jenkins Pipeline、GitHub Actions的Workflow脚本,把“代码提交 → 自动测试 → 构建镜像 → 部署到环境”整个过程串起来。触发条件、环境变量、部署策略都写在代码里,而不是某个人记得的流程。
ChatOps。把运维操作的能力放进团队常用的即时通讯工具里,比如在聊天窗口里输入指令就能查看服务状态、执行部署、查看日志。好处是操作有记录、权限有控制,新人也容易上手。
运维开发化最直接的效果,是把“操作经验”沉淀成了“系统能力”。以前一个资深工程师掌握的手工操作技巧,他离职了就没人会了;现在是代码在仓库里,谁都能看到,谁都能维护,团队的抗风险能力完全不一样。
3.3 让业务团队理解运维的价值:沟通与协作的策略
技术转型做得再好,如果业务方不认可运维的价值,团队一样会陷入被动。2025年,运维团队必须学会用业务听得懂的语言说话。
我以前跟业务方汇报工作,说“我们这个季度告警处理及时率是98%”,业务方毫无感觉,内心想法是“所以呢?”后来换了一种说法,说“这个季度影响用户使用的严重故障一共3次,合计影响时长47分钟,跟业务团队确认过,这47分钟里没有发生在核心转化路径上,所以对订单量影响很小”,业务方一下就明白了——原来运维对业务结果是有认知的,是有主动性的。
这里有一个特别实用的建议:用SLO和错误预算来对话。SLO不是给自己定技术指标,而是要翻译成业务语言。比如“支付成功率保持在99.95%以上”这是一个SLO,它的业务语言是“10000个用户支付,最多只能有5个人遇到失败”。错误预算的概念更妙——如果这个季度SLO达标了,说明我们有0.05%的预算可以用来试错,可以放心地发布新功能。这样,稳定性和快速迭代之间的矛盾,就从“吵架”变成了一个双方都认可的客观标准。
另外,运维团队在跨部门协作中,要特别注意把“事件”和“责任”分开。出了故障,请把重点放在“如何恢复、如何避免再发”上,而不是急着找人来背锅。一个不敢报故障的团队是最可怕的,因为问题会被藏着掖着,直到变成更大的事故。建立一种“故障复盘不追责,只追根因和改进行动”的文化,虽然短期看好像“纪律松了”,长期看反而故障率是下降的——因为真正的风险被暴露出来并解决掉了。
4. 落地路线图与踩坑记录
4.1 从现状盘点开始的四步走
前面讲了很多方向和思路,但真到自己团队里落地,最怕的就是“一步到位”的想法。既想上AIOps,又要建平台工程,还要推SRE体系,同时开始搞运维开发化——几张大饼一起画,最后大概率什么都是半吊子。
我的建议是分四步走,每一步都有明确的目标和验证标准。
第一步,现状盘点。先用两到四周的时间,把现在的家底盘清楚:到底有多少套业务系统,每个系统的架构是什么样,有没有文档。监控覆盖率是多少,哪些系统是没有监控裸奔的。每天告警量多少条,其中有多少条是真正需要人处理的。有哪些环节是完全靠手工操作的,比如手动发布、手动扩容、手动改配置。盘点结果出来后,你会发现大多数团队的问题不是“缺工具”,而是“不知道自己有什么、不知道哪里最痛”。这一份清单,就是你后续所有工作的优先级依据。
第二步,选定一个痛点做试点。不要铺开做,找一个最痛、最能看到效果的点切入。一般来说,告警降噪和告警治理是进入门槛最低、见效最快的第一步。因为所有团队都烦告警,但很少有团队真的去统计过告警的数量和误报率。把告警数量降一个数量级,这个成果所有人都有感知,后续推广其他工作就更容易获得支持。
第三步,把试点经验标准化。试点的目的不是为了解决一个点的问题,而是为了跑通一套方法和流程。告警治理跑通了,那这套“压降误报、聚合相似、分级通报”的方法,可不可以复制到日志治理?可不可以复制到变更管理?把方法论沉淀下来,比解决单个问题有价值得多。
第四步,规模化推广。到这一步才谈得上上平台、推AIOps、建SRE体系。而且每一步都带上成本和价值的分析:投入了多少人天,换来了多少告警量的下降、多少MTTR的提升、多少手动操作的消除。这些数据不只是自己团队的功劳簿,更是下一次争取资源时的底气。
4.2 核心指标怎么定才不会被骂
上一步讲的是做事顺序,这一步讲怎么证明“做的事有价值”。IT运营的考核指标,定得不好特别容易挨骂。定太高了,一线觉得不切实际,直接躺平;定低了,业务方和老板觉得团队没追求。我建议核心指标分三层来定:
第一层,稳定性指标。沿用SLO框架,一般选两到三个对用户影响最大的核心服务,分别定义可用性SLO,比如99.9%或99.95%,然后设置对应的错误预算。要注意SLO不宜过多,盯住核心用户链路就行,面面俱到等于什么都保不住。
第二层,效率指标。重点盯两个:MTTR(平均修复时间)和变更成功率。MTTR衡量的是“出了事多久能恢复”,它与值班响应机制、故障定位工具、AIOps的辅助效果直接相关。变更成功率衡量的是发布质量,它跟CI/CD流程、灰度发布机制、测试覆盖率相关。这两个指标有一个好处:可以直接跟行业基准做对比,说服力强。
第三层,成本与资源优化指标。这个视公司阶段而定,但不管是什么公司,至少要做到“成本能解释”。也就是当资源的消耗出现异常波动时,团队能快速定位是哪个业务、哪个服务、哪个团队导致的。做得更进一步的团队,会给每个业务部门分摊IT成本,做成内部账单。CI成熟度、自动化和自服务化的覆盖率,也是效率的重要体现,一般会辅助来看。
指标定完之后,要特别警惕被指标反向绑架。比如设了MTTR的考核目标,有的团队就会采取“先重启再说”的策略——把服务重启了,指标确实恢复了,但根因根本没找到,过几天故障又来了。指标是用来反映真实系统健康状况的,一旦它跟真实目标脱节,就会催生各种应付行为。这个坑希望每一个管理者都亲自踩一次才会有体感,但最好还是从别人的经验里学会。
4.3 常见翻车场景:我见过的问题和解决办法
最后分享一些实操中比较常见的翻车场景,都是真实发生过的问题,直接整理成表方便对照。
| 问题 | 典型现象 | 排查思路 | 解决办法 |
|---|---|---|---|
| 告警风暴不可控 | 一次网络抖动触发了几百条告警,值班群被刷屏,真正的关键告警被淹没 | 检查告警规则是否有依赖关系;是否只对“用户可感知”的症状设了告警 | 实施告警降噪,聚合相似告警;推广“症状告警”而不是“原因告警”;建立告警分级和静默机制 |
| 监控数据“有但没用” | 监控大盘面板很多,但故障时没人看,定位还是要靠SSH上去查 | 数据虽然采集了,但指标之间没有关联,链路追踪不完整,形成信息孤岛 | 统一采集层,接入OpenTelemetry统一数据模型;打通日志、指标、链路追踪的关联查询 |
| AIOps平台成了摆设 | 买了一套AIOps产品,但只用了最基础的告警展示功能,算法模型从没产生过有价值的输出 | 数据质量太差,系统根本没有接入足够的有效数据,算法自然跑不出结果 | 先做好数据治理,而不是急着上AI;从告警降噪这个单点开始,逐步增加数据源,让算法有“料”可用 |
| 平台工程变成新的瓶颈 | 搭了自助服务平台,但开发提的需求平台团队做不完,反而积压了一堆工单 | 平台团队把自己定位成“接需求做开发”的内部乙方,没有把通用能力沉淀成平台能力 | 用产品思维运营平台:通用需求做成标准功能,特殊需求走插件和扩展接口;定期收集用户反馈,明确平台的ROI和迭代节奏 |
| 值班体验差、留不住人 | 值班工程师干一年就想跑,觉得天天熬夜处理故障,没有成长 | 值班机制是纯人肉盯告警,缺班次轮换和故障复盘环节;救火没成果沉淀,个人成长感缺失 | 引入告警分级和智能降噪减少无效打扰;轮值机制与on-call补偿;定期做复盘并落实到改进项,让值班的成果变为系统和流程改进 |
还有一个翻车场景很隐晦,但普遍存在,就是“工具买了一堆,但没人会用”。有些团队上了非常高级的可观测性平台,结果大部分人只会看首页的概览大屏,连自定义查询都不会写,更别说做日志聚合分析和链路追踪的深度分析。这种问题本质上不是工具的问题,是推广和培训没跟上。成熟的团队在做工具选型时,会额外考虑一个指标:新人上手时间。如果一个工具需要超过两周的培训才能上手,那它就不适合引入,无论它的功能多么强大。
我个人在实际操作中的体会是,2025年做IT运营,心态上要接受一个现实:我们没法彻底消灭故障,也别指望有一套神器把所有问题都解决了。系统越复杂,故障越不可避免,但我们可以做到的是——故障发生前,有足够的预警和容量规划;故障发生时,有清晰的处理流程和好用的定位工具;故障发生后,有认真的复盘和落到实处的改进。这三件事都做好,运维团队就能从一个默默无闻的“救火队”,变成一个真正能让业务放心的支撑者。至于该从哪一步开始,建议你就从告警治理入手,先把噪音降下来,你会发现整个团队的工作状态都会不一样。