Fault-Tolerant Distributed Consensus & Metadata Store

01. Konteks Bisnis & Problem Statement

Sistem membutuhkan penyimpanan konfigurasi terdistribusi yang ringkas namun memiliki toleransi kegagalan ekstrem. Kebutuhan utamanya adalah memastikan setiap pembacaan data metadata bersifat konsisten (linearizable read) tanpa terpapar oleh stale-state dari node yang terisolasi secara parsial.

Tantangan Teknis Kritis (The Bottleneck)

Menjamin tidak terjadi split-brain saat partisi jaringan asimetris terjadi, serta mempertahankan throughput log replication saat node follower mengalami lagging disk write.

02. Keputusan Arsitektur & Trade-off Nyata

Dirancang berdasarkan spesifikasi Raft dengan optimasi pipelined log append dan adaptive election timeouts. Pemilihan leader menggunakan randomized heartbeat window untuk mencegah vote split berkepanjangan pada cluster 3 hingga 5 node.

03. Rekayasa Implementasi Kunci

Log state machine disimpan dalam struktur file write-ahead log (WAL) dengan fsync deterministik. Pembacaan linearizable dioptimasi menggunakan mekanisme Lease Read sehingga query baca tidak harus melalui konsensus quorum penuh selama lease leader masih valid.

// Verifikasi Quorum & Linearizable Lease Read
pub async fn verify_quorum_heartbeat(
    leader_state: &Arc<RwLock<LeaderState>>,
    peer_pool: &PeerRpcPool,
) -> Result<bool, ConsensusError> {
    let current_term = leader_state.read().await.current_term;
    let mut acks = 1; // Suara leader sendiri
    let quorum = peer_pool.quorum_threshold();

    let mut responses = peer_pool.broadcast_heartbeat(current_term).await;
    while let Some(res) = responses.next().await {
        if res.is_ok() {
            acks += 1;
            if acks >= quorum {
                return Ok(true); // Quorum terpenuhi secara linear
            }
        }
    }
    Err(ConsensusError::QuorumLost)
}

04. Dampak Terukur & Pembelajaran Produksi

Waktu failover otomatis di bawah 450ms saat terjadi kegagalan node master, 0 split-brain dalam 500+ iterasi uji Chaos Monkey, dan throughput hingga 18.000 op/detik pada pembacaan metadata.