求人票に大規模トラフィックが欠かせない理由
こんにちは、イ・スンジェです。転職の準備をしながら求人票をたくさん見ましたが、バックエンドの求人の歓迎要件には大規模トラフィックの処理経験がほぼ必ず入っていました。
最初は決まり文句だと思っていましたが、行きたい会社を考えるうちに、自分も同じ基準にたどり着いていました。今日は、なぜあの一文がいつもあるのか、そしてなぜ自分もトラフィックのある場所を探すようになったのかを整理してみます。
開発は、規模が大きくなったときから難しくなります。1日に100件のリクエストが来るAPIならどう書いても動きますが、毎秒数万件が押し寄せると、コネクションが足りなくなり、同じ行を更新しようとするリクエスト同士がぶつかり、数ミリ秒の遅延が積み重なって障害につながります。
クエリも同じです。1万行のテーブルならインデックスがなくてもほとんど気づきませんが、10億行になると同じクエリが数分かかったり、終わらなかったりします。コードは一文字も変わっていないのに、解くべき問題が変わったわけです。
だから、開発の難しさを決める最大の変数はスケールだと考えています。
スケールには二つの軸があります。リクエストが多い場合と、データが大きい場合です。
リクエストが多ければ、コネクションプールをいくつにするか、何をキャッシュに置いていつ捨てるか、ロックをどこまでかけるかを悩むことになります。データが大きければ、テーブルをどう分けるか、一回のクエリでどれだけ読むか、バッチが時間内に終わるかを考えることになります。
どちらか一つあれば十分です。どちらにせよフレームワークのデフォルトを信じられなくなり、その下で何が起きているかをのぞき込むしかなくなるからです。深いところまで考えるようになるのは、このときです。
どちらもなければどうでしょうか。基本さえ守れば動きます。
Springは設定を整えてくれ、JPAはクエリを作ってくれ、DBのオプティマイザーは私が書いたクエリよりも良い実行計画を見つけてくれます。言語やフレームワークがよくできている証拠で、それ自体は良いことです。
ただ、開発者にとっては考えることが減るという意味でもあります。N+1が起きてもデータが少なければ目立たず、インデックスを付け忘れてもレスポンスは速いままです。問題が表に出ないので、掘り下げる理由も生まれません。
私が働いていた組織はコストに敏感で、トラフィックは少ない一方、データは積み上がっていました。
そこで私はバッチを削りに削りました。毎日6千万行を超えるデータを取り込むバッチが、今では月1ドル程度のコストで動いています。限られたリソースの中で何を削り何を後回しにするかを選ぶ過程は楽しく、エンジニアリングの面白さがありました。
しかし限界もはっきりしていました。選択肢が決まっているので、考えが「どんな構造が正しいか」までは届かず、「この中でどう耐えるか」で止まってしまうのです。
エンジニアリングのインパクトも小さいものでした。インフラに数十万ドルを使う組織なら、最適化で削れるコストも数万、数十万ドルになりますが、最初から少ないお金で回っている組織なら、削れる金額の天井もそれに合わせて下がります。1ドルで動くバッチは、どれだけ削っても1ドル以上は節約できないのですから。
前のケースと比べると、スケールがなければ考える理由がなく、スケールがあっても選択肢がなければ考える幅が狭くなります。方向は違っても、深さが足りないという物足りなさは同じでした。
ドメインが複雑なサービスも難しいという反論があるかもしれませんし、私も同意します。精算や決済のようにルールが絡み合ったドメインでは、モデルをどう分けて境界をどこに置くかが核心で、それも実力が必要な仕事です。
ただ、それは種類の違う難しさだと思います。ドメインの難しさは人とルールを理解することから、スケールの難しさはシステムの限界を理解することから来ます。この記事は後者の話で、私はその深さを積み上げたいのです。
トラフィックが大事な理由がもう一つあります。一人では作れないということです。
フレームワークの内部やインデックスの構造は本やドキュメントで学べますし、サイドプロジェクトで作ってみることもできます。負荷テストツールでリクエストを真似することもできますが、実際のユーザーのトラフィックは予想しない時間に押し寄せ、予想しないデータを持ってきます。そんなトラフィックには、そのトラフィックがある会社でしか出会えません。
求人票が大規模トラフィック処理の経験者を優遇するのも、同じ理由なのでしょう。だから私にとって、行きたい会社はトラフィックの多い会社と同じ意味になりました。
そしてその基準どおり、今回MAUが650万を超える組織に加わりました。どんな仕事をすることになるかはまだわかりませんが、そのトラフィックを前に、卓越を夢見ています。
読んでいただきありがとうございました。