香港服务器备份要不要放另一家?乌克兰机房被炸后的自查
栏目里 8 月 19 日那篇《香港服务器要不要做异地容灾?》,讲的是机房和线路出事时怎么办,方案是香港主力配一台美国备援;9 月 22 日那篇《香港服务器的备份别和业务放一台机器上》,讲的是备份要挪出业务机。两篇有个没明说的前提:主机、备机、备份都还攥在你自己手里,而且多半在同一家服务商、同一个后台账号下面。
这篇讲这个前提靠不住的时候。
这一周服务器行业的新闻,大半在讲大钱:三星向KKR旗下的Helix承诺投资10亿美元,Applied Digital阿拉巴马园区背后是一份15年、210MW的租约,亚马逊在香港收机房、在马来西亚雪邦买地。这些离租一两台机器的人都很远。能拿来对照自己的,反倒是乌克兰那几条。
同样被炸,结局差得很远
9月下旬以来,基辅的数据中心和通信设施接连遭到袭击。据乌克兰媒体NV汇总,主机商MiroHost存放基础设施的机房被毁,CityHost.UA的硬件被毁,Datagroup的通信设施受损、服务切到了备用站点。10月1日,dline.ua对Hromadske电台确认,它位于Predslavynska街28号的机房已被摧毁,所有服务和客户数据迁到了备用站点。路透社援引乌克兰数字化转型部的说法,前一周针对网络服务商机房的打击,让基辅及周边约10万户断网。
同一批消息里,有两处容易被略过。
一处是结局的分野。有备用站点的服务商,客户数据还在,只是换了地方跑;没有的,机器连同里面的数据一起没了。麻烦在于,出事之前客户几乎分不出自己属于哪一种:服务商有没有第二个站点、客户数据会不会自动复制过去,很少写在产品页上。
另一处是机房等级挡不住这种事。DCD援引机房业主的说法报道,基辅的Parkovyi数据中心在袭击后已停止运作;按Data Center Map的记录,它是乌克兰唯一拿到Uptime Tier III认证的机房。Tier III考的是设备和供电冗余,换一台UPS、切一路市电,业务不停;整栋楼没了,不在它的考题里。我们自己的机房介绍里也写着Tier III+,这话由我们来说有点自揭其短,但事实就是这样。
香港没有战事,这种事不会原样在香港发生。拿它来对照,是因为它把一个平时不太会想的问题推到了极端:业务能不能恢复,有多少取决于你自己控制不了的东西。这类单点,通常落在机房之外的三个地方。
第一处:服务商本身
hk-dr那篇讲“不共享故障域”,指的是不同机房、不同线路,最好不同地区。香港主力加美国备援,能躲开机房断网、海缆中断这一层。可如果两台机器在同一家服务商、同一个账号下,它们仍然共用一些东西:同一个后台、同一份账单、同一家公司的日常运营。
所以建议在服务商之外,再留一份“第三份”数据。它不必是一台热备机,别家的一个对象存储桶、一台便宜的小VPS,甚至公司里的一台NAS都可以。要求只有几条。
放进去的是重建不出来的东西:数据库导出、用户上传的文件、配置文件和部署脚本、DNS解析记录的导出。系统镜像体积大、能重装,排在后面。
访问这份副本的凭据,不放在生产机上,也不放在主服务商的后台里。思路和hk-backup那篇一样,只是把“另一台机器”再往外推了一层。
同步频率跟着“能接受丢多少数据”走。有订单的业务按小时或按天,内容站按周也说得过去。
至少从这份副本完整恢复过一次。没恢复过的备份,只能算一份心理安慰。
我们是服务商,劝客户把一份数据放到别家,听上去不太像在做生意。但服务商自己的站点出事时,客户手里这一份,是唯一不用等别人的退路。
第二处:账号和付款
比机房被炸常见得多的情况,是登不上、付不了。
设想几个场景:当初注册服务器账号的同事离职了,绑定的是他的公司邮箱,邮箱已经停用;两步验证装在他那台旧手机上;扣款的信用卡过期,续费失败的邮件没人看到。多数服务商在到期后只留一段宽限期,过了就回收机器、清空磁盘,具体几天各家不同,要看你用的那家怎么写。
同样的问题也会出在域名和DNS上。hk-dr那套靠DNS切换的方案,前提是出事那一刻你登得进DNS后台。域名如果挂在某个员工的个人账户下,又恰好过期,香港和美国两台机器都好好的,用户照样打不开。
拆掉这个单点,花的是半天时间,不是钱。服务器、DNS、域名注册这三个账号,统一改绑公司的角色邮箱,比如ops@开头的那种,不用个人邮箱;两步验证的恢复码存进公司的密码管理器,至少两个人取得到;续费提醒发到群组邮箱或工作群,不只进一个人的收件箱;核心机器按年付,付款方式到期前一个月换好。
SellBGP这边,个人中心“我已订购”从8月起支持多个产品模块一起批量续费;付款支持支付宝、银行转账和USDT,企业客户可以申请月结或季度付款。续费联系人和提醒方式想怎么设,直接在工单里问就行。
第三处:人和办公室
Kyivstar是乌克兰最大的移动运营商,截至6月底约有2180万移动用户。9月11日,它在基辅的工程团队办公室被无人机击中;9月17日,基辅州一处放置其设备的建筑受损;9月27日,总部大楼被击中。前两次之后,公司都表示网络照常运行;9月27日那次,公司称无人伤亡。据乌克兰当地媒体报道,Kyivstar建网时就把单个站点被毁算进了风险,用冗余保证丢掉一个站点不会造成大面积断网。
办公楼被炸、网络还在转,说明它的运营不依赖任何一栋楼。换到租服务器的小团队身上,可以问自己几个问题:SSH或远程桌面的防火墙白名单,是不是只放行了办公室那一个固定IP?办公室宽带断了、或者搬了家,还有谁登得进去?登录私钥是不是只存在一台笔记本上?机器在哪、怎么切到备机、服务商的客服怎么找,这些写进了文档,还是只在一个人脑子里?
栏目里《香港服务器管理面比业务面更危险》那篇,方向是把管理入口收紧。这里说的是另一半:收紧之后,合法的入口别只剩一个。白名单里至少留两个出口,办公室之外,再放一台在别处的跳板机或VPN节点;私钥用硬件密钥,另存一份加密备份;系统层面全断时,还有服务商的带外控制台这条后路,《补丁打完RDP连不上?美国服务器要留的那条后路》专门讲过。最后写一页纸的应急手册:机器清单、后台怎么登、第三份数据在哪、出事找谁,放在不止一个人打得开的地方。
半小时自查
- 服务商之外,有没有一份最近的数据库和文件副本?上一次从它恢复成功是哪天?
- 服务器、DNS、域名注册三个账号,各绑的是谁的邮箱和手机?
- 两步验证的恢复码在哪?除了你,还有谁拿得到?
- 续费提醒发到哪里?付款方式哪天过期?
- 防火墙白名单里有几个能用的入口?办公室断网时从哪儿登录?
- 负责的人休假一周,别人能不能照着文档把业务切到备机?
六个问题里答不上来的,就是你业务里机房之外的单点。
SellBGP的香港服务器部署在HGC、WTT等数据中心,美国服务器在洛杉矶CoreSite LA2和600 West 7th Street,在同一家里先把机房和地区拆开,是hk-dr那篇讲过的第一步。账号、付款和人这三项,和用哪家服务商关系不大,半天就能理清。至于第三份数据放在哪,放在别家也没关系,要紧的是它在,而且你从它恢复过一次。