YouDieInADream

Nope.

OC SSD & ZNS

发布于 2020-09-09 | 标签: 存储 | 13分钟 | 3251字数 | 浏览量::
  • 项目新技术预研。OpenChannel SSD 和 ZNS SSD
  • 主要是资料整理，并考虑应用此类硬件技术到 Ceph.

OC SSD & ZNS

Prepare

  • NVM Express™ Specification: NVM Express™(NVMe™) 基础规范最初是为 SSD 设计的，用于帮助定义主机软件如何通过PCI Express®(PCIe®)总线与非易失性内存通信。它已经迅速发展成为各种形式的PCIe固态硬盘(SSD)的工业标准(U.2、M.2、AIC、EDSFF)。NVMe 基本规范提供了一个有效的接口，提供了更低的延迟，比串行ATA (SATA)等传统接口更适合 SSD。https://nvmexpress.org/developers/nvme-specification/
  • 此规范目的在于充分利用PCI-E通道的低延时以及并行性，还有当代处理器、平台与应用的并行性，在可控制的存储成本下，极大的提升固态硬盘的读写性能，降低由于AHCI接口带来的高延时，彻底解放SATA时代固态硬盘的极致性能。NVMe是为SSD而生。在此之前SSD都用SATA接口。SATA接口采用AHCI规范，其已经成为制约SSD速度的瓶颈。AHCI只有1个命令队列，队列深度32；而NVMe可以有65535个队列，每个队列都可以深达65536个命令。NVMe也充分使用了MSI的2048个中断向量优势，延迟大大减小。
  • Zoned Block Commands (ZBC)：定义了SMR盘相关的术语和行为，成为SAS接口SMR盘所必须遵守的规范。
  • Zoned-device ATA Commands (ZAC)：与ZBC类似，是SATA接口SMR盘所必须遵守的标准。

参考文献

Open-Channel SSD

  • 为什么使用 OC SSD？: 以 Ceph 为例。

    • 传统的 FileStore 是基于本地文件系统设计的，在索引结构、空间管理、垃圾回收以及日志等方面，FileStore 的不同层级之间其实是有功能的冗余的，这种冗余带来的影响就是较高的软件开销。
    • BlueStore 则 bypass 了文件系统，直接在用户空间分配和回收 SSD 的数据块，使用 RocksDB 来进行元数据的管理从而保证一致性，RocksDB 在定制的 BlueFS 上运行，相比于 FileStore，简化的 IO 路径带来了显著的性能提升。但在 BlueStore 和 FTL 中还是有功能冗余，导致两部分彼此隔离，而在实际进行决策的时候可能产生冲突。SSD 的性能和持久性还是未得到充分的利用。

  • Object Store Architecture in Ceph
    20200908160913

  • 普通 NVMe SSD
    20200908093255

  • Open-Channel SSD
    20200908093333

  • Open-Channel将本来位于NVMe SSD上Firmware中的对Flash管理和控制的部分功能，交给了Host上的应用软件。让应用根据自身的业务特点，对盘上的Flash进行有效的管理。很多情况下，Host上应用的管理，可以避免在垃圾回收等各类对前端应用IO请求的影响。

  • Open-Channel 向 Host 展示出内部 NAND 布局的细节，Host 可以决定数据实际存放的物理位置。这样，Host 就可以根据 IO 请求的发起方，将 IO 数据写到不同的位置，实现不同应用、用户数据的物理隔离，达到更好的 QOS 效果，如图所示。
    20200908154037

  • 但就从实际应用的部署情况来看，Open-Channel的使用者需要实现一个复杂的FTL(Flash Translation Layer), 替代SSD中本已健壮成熟的Firmware层实现的功能，来管理NAND flash和数据存放。而且Open-Channel Specification 仅仅定义了Open-Channel涉及的最为通用的部分。不同厂商的SSD产品特性不同，它们或者难以统一，或者涉及敏感内容，不便公开，实际Open-Channel产品往往在兼容Open-Channel Spec的基础上，各有一部分私有定义。不同业务方的需求独特，往往需要在自己的FTL内加入定制化的内容。因此，至今尚未有通用的Open-Channel SSD和针对独特业务的通用FTL。这些制约严重影响了Open-Channel的发展速度。

Ecosystem

LightNVM & PBLK

  • 为了方便的管理和操作 Open-Channel SSD，LightNVM 应运而生。LightNVM 是在 Linux Kernel 中一个针对 Open-Channel SSD 的 Subsystem。LightNVM 提供了一套新的接口，用于管理 Open-Channel SSD，以及执行 IO 操作。为了和 Kernel 中现有的 IO 子系统协同工作，还存在 pblk（Physical Block Device）层。他在 LightNVM 的基础上实现了 FTL 的功能，同时对上层暴露传统的 Block 层接口，使得现有的文件系统可以通过 pblk 直接运行在 Open-Channel SSD 上。
    20200909132644
  • 目前 LightNVM 已经被合并入 Kernel 的主线。而对于用户态的程序来说，可以通过 liblightnvm 操作 Open-Channel SSD。
    20200909212537
PPA Addressing
  • Physical Page Addressing (PPA) Interface 物理页寻址。
    • 通过这个接口暴露SSD的几何结构
      • 逻辑/物理几何结构（取决于供应商）
      • 性能
      • 特定介质的元数据（需要的情况下）
      • 控制器功能
    • 展示分层的地址空间
      • 编码并行的几何结构单元（PUs）到地址空间
        20200909210218
    • 向量 I/Os
      • 读/写/擦除（有效访问给定的新的地址空间）

NVMe Device drivers

  • 检测open-channel SSD 并实现 PPA 接口
  • 启用 LightNVM 的 NVMe 设备驱动程序使内核模块可以通过 PPA I/O 接口访问 open-channel SSD。设备驱动程序将设备作为传统的 Linux 设备公开给用户空间，从而允许应用程序通过 ioctl（专用于设备输入输出操作的系统调用） 与设备进行交互。

PBLK

20200909164249
  • 处理控制器和特定介质之间的约束 （例如，缓存必要的数据量来对Flash页进行编程）
  • 将逻辑地址映射到物理地址（4KB粒度），并确保完整性，最终在面对关联映射表（L2P）崩溃时进行恢复
  • 处理错误和垃圾回收
  • 处理flush操作：因为典型的闪存页面大于4KB，flush会强制pblk的运行中数据在完成之前存储在设备上
Write Buffering
  • 数据缓冲区，用于存储4KB用户数据入口（4KB对应于一个扇区的大小）
  • 上下文缓冲区，用于存储 Per entry 元数据。
  • 缓冲区的大小是闪存页大小（FPSZ），要写入的闪存页数（下/上页）和PU数（N）的乘积。如果FPSZ = 64KB，PP = 8，N = 128，则写缓冲区为64MB。多生产者-单消费者模型

Solution

QBLK

20200909132822
  • 多队列缓冲
  • 每个通道的地址管理
  • 无锁地址映射
  • 细粒度的刷回

OCStore

  • 基于 OC SSD（华为定制的 OC SSD，32 flash channels，每个 block 包含 512 个 pages，每个页大小为 4KB） 和 PFTL 构建的对象存储，直接在原始闪存上管理对象，减少了对象存储、文件系统和FTL层的冗余功能。提供了流事务更新，这不仅确保了利用非覆盖flash写入特性的多页原子性，而且还为独立的I/O流提供隔离，同时支持对不同通道的并行访问。OCStore 还协调不同的通道来支持事务感知调度，从而减少事务级别的延迟，并为分布式存储提供较低的响应时间。显著降低了延迟和写流量。
    20200908164256

Zoned Namespace

  • OC SSDs 由于缺乏官方标准，一些供应商引入了不同的实现 OpenChannel SSD 接口的方法，导致实现支离破碎。为了防止这种情况发生，主要的供应商联合起来引入了一个新的 NVMe 标准，称为 Zoned Namespace (ZNS)，该标准定义了在不使用 FTL 情况下管理 SSD 的接口。

Concepts

  • Zoned Namespace（ZNS）是NVMe工作组为增加对定制化需求提供灵活性，而计划加入NVMe协议的新特性。
  • Zoned Namespace中的zone名称，源自于为SMR硬盘(Shingled Magnetic Recording, 叠瓦式磁记录)所做的设计。相关标准化组织曾制定了ZBC(Zoned Block Commands，分区块命令集)与ZAC(Zoned-device ATA Commands， 区设备ATA指令集)，来对SCSI和ATA协议进行拓展。所以zone所涉及的状态转换与软件栈，都与之前的SMR硬盘相符。
  • 相对于正常的 NVMe Namespace, Zoned Namespace将一个Namespace的逻辑地址空间切分成一个个的zone。如图所示，zone是Namespace内的一种固定大小的子区间。每个zone都有一段LBA(Logical Block Address, 逻辑地址空间)区间，这段区间只能顺序写，而且如果要覆盖写，则必须显示的进行一次擦除操作。这样，namespace就可以把NAND内部结构的边界透露给外界。NVMe SSD也就能够将地址映射表等内部管理工作交由host去处理，从而减少写放大、选择合适的GC(Garbage Collection, 垃圾回收)时机。
    20200908171600

States And Operations

  • Zone的基本操作有Read, Append Write，Zone Management 以及Get Log Page。Zone大小可以采用Open-Channel中Chunk的大小为单位，即与NAND介质的物理边界为单位。Zone Log Page也会与Open-Channel Spec 2.0中的Chunk Info Log相似。

  • 与Open-Channel相比，最大的区别就是在Zoned Namespace中，Zone的地址是LBA（Logical Block Address, 逻辑块地址），Zone X的起始地址与Zone X-1的结束地址相连，Zone X的结束地址与Zone X+1的起始地址相连。Zone的容量总是小于等于Zone的逻辑大小。这样一来，Zone Namespace就可以避免Open-Channel里繁琐的各类地址转换。

  • Zone 状态：

    • Emptyzone 内无有效数据
    • Explicitly Openedzone 被 Management 命令显式的打开
    • Implicitly Openedzone 处在打开状态，但并非是由 Management 命令打开的
    • Closedzone 被 Management 命令显式的关闭
    • Fullzone 处于写满状态
    • Offlinezone 无法被读写
20200908171946
  • 一个zone只有在Open状态下才可以写入数据；擦除可以使写满的zone回退到Empty状态；在zone的内部Nand介质达到磨损极限后处于Offline状态。它的正常工作状态变化过程为：Empty → Open → Full → Empty
  • ZM（Zone Management，zone管理）command 有 ZM Open, ZM Close, ZM Reset, ZM Finish 等，可以控制zone的状态变化。例如，在正常工作过程中，zone的状态变化需要ZM命令的参与：Empty → <ZM Open> → Explicitly Opened → <Append Write Operations>/<ZM finish> → Full → <ZM Reset> → Empty

ZNS SSD

20200909215928

限制

  • 顺序写约束: 写操作需要按照顺序进行，就像SMR驱动器一样。
  • 主机需要直接控制 Zones，如 Zones 打开、关闭、重置和 Zones 垃圾收集。
    • 空间利用率较高的时候垃圾收集开销很大，随着利用率增加，垃圾收集的开销增加尤为显著
    • 分组访问比单独访问快得多，因为每个 Zone 可能被映射到多个通道，可以利用内部并行性适当地增大 IO 大小来提升性能。

Ecosystem

  • 业界也早已为SMR硬盘的推广，添加了很多软件生态。如图所示， 例如在Linux体系中， 有用户态函数库libzbc；文件系统中加入针对SMR的优化；SCSI/ATA驱动增加对SMR相关指令集的支持。
    20200908172545
    20200909215303
  • Linux内核中块设备有对zone支持的zoned block device模型，通用设备映射器（Device Mapper）中加入的dm-zoned device mapper, 可以将一个zoned block device映射为不受追加写限制的通用块设备。开启此类映射需要用到两个工具命令，一个是Device Mapper的工具dmsetup，另一个是zoned block device 专用工具dmzadm (dm-zoned admin).
# dmzadm 格式化 zoned block device /dev/sdb
dmzadm –format /dev/sdb 
# 创建通用块设备 -> /dev/mapper/dmz-sdb
dmsetup create dmz-sdb
  • 文件系统诸如F2FS、BTRFS中已经有了对zoned block device的直接支持，所以它们可以直接操作zoned block device，绕过DM-zoned。如果一个NVMe SSD的一个Namespace是Zoned Namespace时，F2FS和BTRFS可以直接配置使用它，而无需额外的开发工作。

SPDK

  • zonedev layer，它为FTL提供所有所需的操作集，从而屏蔽底层Open-Channel, Zoned Namespace, 以及其他各类第三方的非标准Spec的差异
  • OC/Zonedev adapter: 考虑到Zoned Namespace将会被NVMe Spec接纳，zonedev layer 会以Zoned Namespace的定义为标准。Open-Channel设备则需再加入一个OC/Zonedev adapter去将Open-Channel的操作封装适配到zonedev layer中。
    20200908173122

参考链接

# 存储
Optane Persisten Memory And UPS Memory 上一篇
Series Four of Basic of Virtualization - Memory Virtualization - Basic And Segmentation 下一篇
已运行:
浏览数: 次 | 访客数: 人
Powered by Gridea
0%