ピンタレストが6人のエンジニアで1100万人のユーザーを獲得した方法

核心概念

ピンタレストは6人のエンジニアチームで急成長を遂げ、2年間で月間数十億ページビューを達成した。その過程で、シンプルで信頼性の高い技術スタックを選択し、シャーディングによるデータベースの水平スケーリングを実現した。

要約

ピンタレストのスケーリング戦略は4つの段階に分けられる:

1. 自己発見の時代: 小規模なエンジニアチームによる迅速なプロトタイピングと製品要件の変化が特徴。

2. 実験の時代: 爆発的なユーザー成長に伴い、多数の技術を採用したが、複雑で脆弱なシステムになってしまった。

3. 成熟の時代: アーキテクチャの意識的な簡素化に取り組み、MySQL、Memcache、Redisなどの成熟した技術に集中した。

4. 成長の時代: 適切なアーキテクチャが整ったことで、水平スケーリングによる成長を続けることができた。

ピンタレストは、信頼性、スケーラビリティ、メンテナンス性の高い技術を選択した。特にMySQLはデータベース、Memcacheはキャッシング、Redisはデータストアとして活用された。

データベースのスケーリングにはクラスタリングとシャーディングの2つのアプローチがあるが、ピンタレストはシャーディングを選択した。シャーディングはアーキテクチャが単純で管理が容易であり、データの所有権が明確になるというメリットがあった。一方で、ジョインやトランザクションの制限といった課題もあったが、アプリケーション層で対応することで解決した。

ピンタレストの成功の鍵は、シンプルで信頼性の高い技術を選択し、水平スケーリングを実現したことにある。複雑な技術ではなく、成熟した技術を活用することで、急成長に耐えうるシステムを構築できた。

統計

ピンタレストは6人のエンジニアチームで1100万人のユーザーを獲得した。
ピンタレストは2年間で月間数十億ページビューを達成した。

引用

"クラスタリングの管理アルゴリズムに問題があり、複数の停止事故が発生し、トラブルシューティングが困難だった。"
"ある場合、新しいセカンダリノードが一次ノードだと主張し、20%のデータが失われた。全てのデータを失うよりも、何が失われたかわからないのが悪い。"
"ユーザーのすべてのデータ(ピン、ボードなど)が同じシャードに格納されているので、ユーザープロファイルの描画などは高速に行えるようになった。"

抽出されたキーインサイト

How Pinterest Scaled to 11 Million Users With Only 6 Engineers

by 場所 machine-learning-made-si... 05-13-2024

https://machine-learning-made-simple.medium.com/how-pinterest-scaled-to-11-million-users-with-only-6-engineers-a0f62cea62b8

深掘り質問

ピンタレストのスケーリング戦略を他のサービスにどのように応用できるか

ピンタレストのスケーリング戦略は、他のサービスに応用する際に重要な洞察を提供します。まず、シンプルさとスケーラビリティの重要性を強調することが重要です。他のサービスでも、予測可能で理解しやすいテクノロジーを選択し、トラブルシューティングを簡素化し、予期せぬ問題のリスクを減らすことが重要です。また、急速に成長する環境では、スケーラビリティを優先し、一部のデータベース機能を犠牲にする柔軟性を持つことが重要です。さらに、水平成長を設計することで、ユーザーベースが拡大するにつれてリソースを追加できるアーキテクチャを選択することも重要です。ピンタレストの戦略を他のサービスに適用する際には、これらの原則を念頭に置くことが重要です。

シャーディングの欠点を克服するためにはどのような技術的アプローチが考えられるか

シャーディングの欠点を克服するためには、いくつかの技術的アプローチが考えられます。まず、データベースレベルのジョインやトランザクションが不可能な場合、アプリケーションレベルでデータの整合性と一貫性を維持するためのロジックを実装することが重要です。また、データベーススキーマの変更を行う際には、すべてのシャードに変更を適用するための慎重な計画と実装が必要です。さらに、複数のシャードをまたいだレポートを生成する際には、各シャードから結果を取得し、手動で集計する必要があるため、追加の手順が必要です。これらの課題に対処するためには、堅牢なスクリプトツールやプロセスを用意して、データをシャーディングされたインフラストラクチャに効率的に移行することが重要です。

ピンタレストのようなスケーラブルなシステムを構築する上で、エンジニアリングカルチャーはどのように重要か

ピンタレストのようなスケーラブルなシステムを構築する際には、エンジニアリングカルチャーが非常に重要です。エンジニアリングカルチャーは、シンプルで理解しやすいテクノロジーを選択し、スケーラビリティを優先し、成長に合わせてリソースを追加できる柔軟なアーキテクチャを設計することを促進します。さらに、エンジニアリングカルチャーは、チーム全体が共有する価値観やベストプラクティスを確立し、問題解決やイノベーションを促進します。エンジニアリングカルチャーが強固であれば、急速な成長や技術的課題にも柔軟に対応できるため、システムの構築とスケーリングにおいて重要な役割を果たします。