为什么招聘启事里总少不了大规模流量
大家好,我是李承宰。准备跳槽时看了很多招聘启事,后端岗位的加分项里几乎总少不了大规模流量处理经验。
起初我以为那只是套话,但在思考自己想去什么样的公司时,我发现自己也走到了同一个标准上。今天想整理一下,为什么那句话总会出现,以及我为什么也开始寻找有流量的地方。
开发从规模变大的那一刻起开始变难。一天只有 100 个请求的 API 怎么写都能跑,但每秒涌入几万个请求时,连接会不够用,想修改同一行的请求会互相冲突,几毫秒的延迟层层累积,最后演变成故障。
查询也一样。在 1 万行的表上,没有索引也很难察觉,但到了 10 亿行,同一条查询会跑上几分钟,甚至跑不完。代码一个字都没改,要解决的问题却变了。
所以我认为,决定开发难度的最大变量是规模。
规模有两个维度:请求多,或者数据大。
请求多的时候,要考虑连接池设多大、把什么放进缓存以及何时清掉、锁要加到什么范围。数据大的时候,则要权衡表怎么拆分、一次查询读多少、批处理能否按时跑完。
两者有其一就够了。无论哪一种,都不能再信任框架的默认值,必须去看底层到底发生了什么。开发时开始考虑到深处,正是这个时候。
如果两者都没有呢?守住基本就能跑。
Spring 帮你配好设置,JPA 帮你生成查询,数据库优化器能找到比我写的查询更好的执行计划。这证明语言和框架做得很好,这本身是好事。
但对开发者来说,这也意味着需要思考的东西变少了。数据少的时候,出现 N+1 也看不出来,忘了加索引响应也照样很快。问题不暴露,也就没有深挖的理由。
我之前所在的组织对成本很敏感,流量不大,但数据一直在累积。
所以我把批处理一点点削减下来。每天加载超过 6 千万行数据的批处理,现在每月只花大约 1 美元的成本在运行。在有限的资源里选择削掉什么、推迟什么的过程很有趣,也有工程上的乐趣。
但局限也很明显。选项一开始就定死了,所以思考到不了“什么架构才对”,而是停在“在这里面怎么撑下去”。
工程的影响力也很小。在基础设施上花几十万美元的组织里,通过优化能省下的成本也有几万、几十万美元;但在一开始就靠很少的钱运转的组织里,能省下的金额的天花板也随之降低。靠 1 美元运行的批处理,再怎么削减,能省下的钱也不会超过 1 美元。
和前一种情况相比,没有规模就没有思考的理由,有规模却没有选项,思考的范围就会变窄。方向不同,但缺乏深度的遗憾是一样的。
也许有人会反驳说,领域复杂的服务也很难,我也同意。像结算或支付这样规则交织的领域,核心在于如何拆分模型、把边界划在哪里,这同样需要实力。
不过我认为那是另一种难。领域的难来自理解人和规则,规模的难来自理解系统的极限。这篇文章讲的是后者,而我想积累的正是那种深度。
流量之所以重要,还有一个原因:一个人造不出来。
框架内部或索引结构可以通过书和文档自学,也可以在副业项目里亲手实现。可以用压测工具模拟请求,但真实用户的流量会在意想不到的时间涌来,带来意想不到的数据。这样的流量,只有在拥有它的公司才能遇到。
招聘启事优先考虑有大规模流量处理经验的人,大概也是同样的原因。所以对我来说,想去的公司和流量大的公司成了同一个意思。
于是按照这个标准,我这次加入了一个 MAU 超过 650 万的组织。虽然还不知道会做什么,但我正在那片流量面前梦想着卓越。
感谢阅读。