概要

2021年10月3日 午後2時頃

Misskey.devのAPIに対するDDoS攻撃の負荷に耐えられず、PostgreSQLのデータが破損し直近のバックアップも正常に動作しておらず、4月16日から10月3日までの全データが消失した。

原因

サーバー構成

想定

.
├── 札幌第一 PostgreSQL
│   ├── プライマリ (DB-1)
│   └── 同期レプリケーション (DB-2)
│       └── Googleドライブへ1日ごとにバックアップ (Backup-0)
├── 東京 PostgreSQL
│   └── 非同期レプリケーション (DB-3)
│       ├── Btrfsによる5分ごとのスナップショット (Snapshot-1)
│       └── Googleドライブへ1日ごとにバックアップ (Backup-1)
└── 仙台(元東京) PostgreSQL
    └── 非同期レプリケーション (DB-4)
        ├── Btrfsによる5分ごとのスナップショット (Snapshot-2)
        └── Googleドライブへ1日ごとにバックアップ (Backup-2)

障害発生時

札幌第一 PostgreSQL
├── プライマリ (DB-1)
└── 同期レプリケーション (DB-2)

東京 PostgreSQL
├── 非同期レプリケーション (DB-3)
│   ├── Btrfsによる5分ごとのスナップショット (Snapshot-1)
│   └── Googleドライブへ1日ごとにバックアップ (Backup-1)
└── 仙台(元東京) PostgreSQL
    └── 非同期レプリケーション (DB-4)
        ├── Btrfsによる5分ごとのスナップショット (Snapshot-2)
        └── Googleドライブへ1日ごとにバックアップ (Backup-2)

正常稼働していたシステム

正常稼働していると振る舞っていたシステム

意図的に停止していたシステム

復元テスト