🔰 引言
在 Ceph 的架構中，使用者可以依需求選擇不同的儲存介面：
- RBD（RADOS Block Device）：提供區塊層級儲存。
- CephFS（Ceph File System）：提供檔案層級儲存。
兩者同樣以 RADOS 分散式物件儲存層 為基礎，
但在 運作原理、應用場景、效能特性與管理方式 上卻有顯著差異。
本文將從 技術架構、效能表現、使用場景、以及 Proxmox 實務應用 等角度，
深入比較 CephFS 與 RBD 的差異與選用策略，協助架構師在設計儲存系統時做出最佳決策。
🧩 一、CephFS 與 RBD 的基本架構差異
| 項目 | RBD (Block) | CephFS (File) |
|---|---|---|
| 定位 | 區塊裝置（類似虛擬硬碟） | 分散式檔案系統 |
| 對應層級 | Block Level | File Level |
| 存取方式 | 由 OS 直接掛載為磁碟或透過 librbd | 由客戶端掛載成檔案系統（kernel / fuse） |
| Metadata 管理 | 無需 MDS，直接由 OSD 管理 | 需要 MDS 管理目錄結構 |
| 支援快照 / Clone | ✅ 支援 | ✅ 支援（但僅針對子目錄） |
| 佈署複雜度 | 簡單 | 中等（需設定 MDS） |
| 最佳用途 | VM、Container、Database 儲存 | 文件共享、備份、開發環境 |
| 支援介面 | Proxmox、KVM、QEMU、OpenStack | Linux mount、NFS、Kubernetes PV |
⚙️ 二、運作原理比較
1️⃣ RBD：區塊層虛擬磁碟
RBD 是 Ceph 最核心的儲存方式。
它將 RADOS 物件映射成虛擬區塊裝置，可直接掛載為磁碟使用。
VM / Host
│
├─> librbd (Client)
│
└─> RADOS Cluster → OSDs
RBD 的優勢是：
- 不需 MDS，效能穩定且延遲低
- 原生支援 Snapshot / Clone
- 適合虛擬化平台或資料庫應用
📦 Proxmox VE 預設使用 RBD 作為 VM 的虛擬磁碟儲存後端。
2️⃣ CephFS：分散式檔案系統
CephFS 提供與傳統檔案系統類似的存取介面（可掛載至 /mnt）。
它依賴 MDS（Metadata Server）管理目錄結構與檔案權限。
Application
│
├─> CephFS Client (Kernel / FUSE)
│
├─> MDS (Metadata)
│
└─> RADOS Cluster → OSDs
CephFS 的優勢是：
- 支援多用戶同時存取與檔案共享
- 適用於備份、開發、文件儲存與 AI 訓練資料集
- 可結合快照功能作為檔案層備援
📊 三、效能比較
| 指標 | RBD | CephFS |
|---|---|---|
| 讀寫延遲 | 低（直接區塊存取） | 較高（需透過 MDS） |
| IOPS | 高 | 中等 |
| 吞吐量 | 優 | 良好（取決於 MDS 數量） |
| 一致性 | 強一致性 | 檔案層一致性 |
| 快照效率 | 高 | 中等（Metadata 開銷較大） |
| 可擴充性 | 高 | 高（需 MDS 負載平衡） |
| 適用工作負載 | Database、VM、Transaction 系統 | File Server、Backup、AI Data Lake |
實測中，RBD 在小檔案隨機 I/O 的表現明顯優於 CephFS，
而 CephFS 在大檔案串流讀寫與多用戶場景中更具彈性。
🧠 四、應用場景選擇建議
適合使用 RBD 的情境
- 虛擬機磁碟儲存 (Proxmox / KVM)
- 資料庫 (MySQL / PostgreSQL / MongoDB)
- 交易系統與 OLTP 型應用
- 高 IOPS、低延遲的工作負載
適合使用 CephFS 的情境
- 多使用者檔案共享伺服器
- 備份與歸檔系統
- DevOps / AI / ML 訓練資料集儲存
- Kubernetes PVC (ReadWriteMany)
⚡ 五、Proxmox 實務應用整合
| 模組 | 整合方式 | 優勢 |
|---|---|---|
| RBD | Proxmox Storage → Add RBD | VM/CT 儲存效能高 |
| CephFS | Proxmox Storage → Add CephFS | 備份或共用資料夾方便 |
| PBS + CephFS | PBS 備份目錄掛載 CephFS | Snapshot + Incremental 備份整合 |
| Hybrid 模式 | VM 用 RBD、備份用 CephFS | 性能與彈性兼顧 |
🧩 六、整合架構範例
┌──────────────────────────┐
│ Proxmox Cluster │
│ ─────────────────────── │
│ VM Storage → RBD Pool │
│ Backup → CephFS Mount │
│ PBS → CephFS Dataset │
└──────────────────────────┘
│
┌──────────────────────┐
│ Ceph Cluster (RADOS) │
│ OSDs + MON + MDS + MGR │
└──────────────────────┘
此架構的優勢：
- VM 存取使用 RBD，效能穩定
- 備份與共用目錄使用 CephFS，彈性高
- 兩者共享相同底層 RADOS 集群，維運簡化
🔒 七、管理與安全性考量
- RBD 可透過 CephX 或 API Token 控制存取權限
- CephFS 可設定多層目錄 ACL 與使用者隔離
- 建議使用 Ceph Dashboard 或 Prometheus 持續監控 I/O 健康狀態
- 對備份用的 CephFS 採用 Snapshots + PBS Verify Job 確保資料完整性
✅ 結語
RBD 與 CephFS 各有明確定位與優勢：
| 類型 | 強項 | 建議用途 |
|---|---|---|
| RBD | 高 IOPS、低延遲、強一致性 | VM、Database、高效能運算 |
| CephFS | 多使用者共享、檔案導向、快照管理 | 備份、AI Data Lake、檔案伺服器 |
在企業級 Proxmox 架構中，建議採取：
- RBD 作為前端運算儲存
- CephFS 作為後端備份與共享層
如此可同時滿足性能、穩定性與靈活性的需求，
並充分發揮 Ceph 架構「統一儲存 (Unified Storage)」的優勢。
💬 下一篇將介紹：
「Ceph 儲存叢集的高可用與多站點複寫策略」，
探討如何透過 Multi-site、Mirror 與同步機制，
實現跨資料中心的分散式備援與自動災難復原。