存储的Smart特性

文章目录
  1. SmartVirtualization
  2. SmartMigration
  3. SmartTier
  4. SmartPartition
  5. SmartQos
  6. SmartCache
  7. SmartErase
  8. SmartDedupe & SmartCompression
  9. 发表评论

SmartVirtualization

SmartVirtualization是指本端存储系统与异构存储系统相互连接后,用户不需要关注异构存储系统的软件架构和硬件架构,可以直接对异构存储系统的存储资源进行集中管理,具备以下两个特点:

  • 本端存储系统可以对异构存储系统的存储资源进行集中管理,无需在多个存储系统中分散操作和维护。
  • 解决了不同存储系统之间兼容性问题,配合LUN迁移特性(SmartMigration),可以将异构存储系统中的业务数据完整迁移至本端存储系统提供的存储空间中。
  • 将异构存储系统的LUN(外部LUN)映射到本端存储系统的eDevLUN。

SmartMigration

SmartMigratio是实现业务迁移的关键技术,可以在不中断主机业务的情况下实现源LUN上的业务完整地迁移到目标LUN上,并在复制结束后使目标LUN完全替代源LUN来承载业务。迁移过程中,主机I/O下发的数据请求通过双写和DCL来实时同步到源LUN和目标LUN,保证迁移完成后的数据完全一致,实现零数据丢失,避免由于数据丢失给客户造成损失。

SmartMigration不仅支持存储系统内部的业务迁移,还支持华为存储系统和与其兼容的异构存储系统之间的业务迁移。

约束与限制:

  1. 目标LUN容量必须大于或等于源LUN的容量。
  2. 源LUN和目标LUN上均不能有任何增值业务。
  3. 源LUN、目标LUN的归属控制器需相同。
  4. 目标LUN不能映射给主机。

Pair状态:

  1. 同步中:源LUN正在向目标LUN同步数据。
  2. 故障:SmartMigration遇到链路故障、LUN故障等可导致源LUN与目标LUN之间的迁移关系断开。
  3. 迁移完成:源LUN的数据已全部迁移到目标LUN中,迁移完成后源LUN与目标LUN会进行属性交换。

SmartTier

动态分级存储特性(简称SmartTier)自动将不同活跃度的数据和不同特点的存储介质动态匹配,提高存储系统性能并降低用户成本。应用SmartTier不会中断现有业务,不会影响数据读写。

SmartTier进行智能化数据存储管理:

  1. SmartTier统计和分析数据的活跃度,将不同活跃度的数据和不同特点的存储介质动态匹配。
  2. SmartTier通过数据迁移将活跃度高的繁忙数据迁移至具有更高性能的存储介质(如SSD硬盘),将活跃度低的空闲数据迁移至具有大容量且更低容量成本的存储介质(如NL-SAS硬盘)。
  3. SmartTier的统计、分析和迁移活动基于SmartTier的实现策略和数据的性能要求。在统计、分析、迁移活动期间,不会对现有业务连续性和数据可用性造成影响。

SmartTier涉及以下三个方面的规划和使用:

  1. 首先要规划存储池各层的硬盘类型和相应的RAID策略,以及各层要规划的容量;
  2. 然后是存储池容量空间的使用,包括LUN的容量的初始分配和制定迁移策略;
  3. 最后是I/O监控迁移粒度和时段的设置,以及迁移触发模式和迁移速度。
    存储层 硬盘类型 RAID级别 读性能 写性能 硬盘利用率
    0级,高性能层 SSD RAID 10 较高 较高 盘利用率为50%
    1级,性能层 SAS RAID 5 4D+1P(推荐):硬盘利用率4/5
    8D+1:硬盘利用率约为8/9
    2级,容量层 NL-SAS RAID 6 4D+2P(推荐):硬盘利用率约为4/6
    8D+2P:硬盘利用率约为8/10

LUN数据迁移策略:

  1. 不迁移:LUN的数据不做任何迁移动作。
  2. 自动迁移:SmartTier根据存储池中数据块的活跃度排名结果进行数据迁移。自动迁移依据I/O监控得出的分析数据进行迁移,因此必须启用I/O监控并设置业务监控时段后,自动迁移才能生效。
  3. 当选择向高性能层迁移和向低性能层迁移后,不论这些LUN是什么活跃级别,SmartTier会将他们的数据块优先迁移至相应的层级去。
  4. 系统默认设置是自动分配和自动迁移。

SmartPartition

SmartPartition是将读写缓存等主要资源进行划分,并将不同业务LUN添加到其中,以达到不同业务间性能隔离的效果,每个SmartPartition的资源访问相互独立,互不干扰;实现不同业务LUN的业务和性能的最佳匹配,可以保障关键应用的性能,减少受其他业务的影响。

SmartPartition特性通过对系统核心资源的分区,保证关键应用的服务性能。用户可以配置不同大小的缓存分区,系统将保证该分区中业务应用所占用的缓存容量,并根据实际情况自动调整不同分区中的主机端并发数量,从而保证位于该分区中的业务应用的服务性能。主机并发表示存储系统针对某个业务允许的主机I/O并发处数量,是影响存储系统性能的最主要因素之一,如果一个应用的主机并发数小于其服务质量需求,会导致主机侧I/O延时增加;反之,则会浪费存储资源。

缓存容量也是影响存储系统性能的最主要因素。缓存容量对于不同特征的业务有着不同的影响:

  1. 对写业务来说,更多的缓存容量意味着更好的写合并率、写命中率和更好的访盘顺序度。
  2. 对读业务来说,更多的缓存容量意味着更好的读命中率。
  3. 对顺序类业务来说,缓存容量不需要很大,只需要满足I/O合并要求即可。
  4. 对随机类业务来说,更大的缓存容量意味着更好的访盘顺序度,从而带来性能的提升。

缓存资源分成读缓存和写缓存:

  1. 对读业务来说,更多的缓存容量意味着更好的读命中率。
  2. 写缓存的主要作用是通过合并、命中、排序等手段提高主机的访盘性能。

配置限制说明:

  1. 添加到SmartPartition的LUN需要和SmartPartition在同一引擎。
  2. 当出现控制器离线或异常时,不支持进行SmartPartition的配置。
  3. 当出现盘框故障时,不支持添加/移除LUN的操作。
  4. 当LUN带有快照、克隆、拷贝及远程复制功能时,不支持添加/移除LUN的操作。

SmartQos

SmartQos特性可以分配存储系统关键资源来满足某些应用程序的特定性能要求,从而保障不同业务的服务质量。

存储业务服务质量的特性,主要提供了如下功能:

  1. 按优先级分配系统资源,保证高优先级业务的服务质量。
  2. 对关键业务进行性能保障,保障其达到指定性能目标。
  3. 对非重点业务进行流量限制,防止其过度占用系统资源。
  4. 对系统关键资源进行过载控制保护,保证系统高可靠性运转。

随着存储系统容量持续增大,将多个应用程序部署在同一台存储设备上的需求也在逐步增加。将多个应用程序部署在同一台存储设备可以简化用户的存储系统架构,但多个应用程序并存相互争抢资源,会导致各业务的性能都受到影响。通过SmartQos特性可以为不同的业务指定不同的性能目标,以满足关键业务的运行。用户可以通过设置I/O优先级,创建流量控制策略两种方式来保证关键应用程序的性能。

SmartQos特性按优先级分配系统关键资源,V3R2支持对文件系统、快照、LUN配置优先级策略。系统关键资源包括:前端并发资源、后端硬盘并发资源、CPU计算资源、缓存资源。

SmartQos特性扩展了信息生命周期管理策略,在存储系统中实现了应用程序性能的分层。SmartQos是对存储系统的一个极为重要的增强特性,尤其是在某些应用程序需要高服务级别的环境中。在同一台存储设备上部署多个应用程序时,通过合理配置SmartQos特性,用户可以得到最大化整合的利益:

  1. 通过性能调控,减少不同应用程序之间的相互影响,保障存储系统整体性能。
  2. 通过限制提供给非关键应用程序的资源,从而提供给关键应用程序更多的资源,保障关键应用程序的性能。

SmartCache

SmartCache是一种采用SSD作为介质提供读缓存的特性,与RAM Cache配合实现了对LUN和文件系统读加速,同时也作为内部重删元数据的读缓存,提高整个存储系统性能。系统在每个控制器上默认生成SmartCache池,用户只需要往SmartCache池中添加SSD盘,系统在每个控制器对(引擎)上缺省生成一个默认SmartCache分区,用户还可以根据需要创建自定义分区,每个引擎上最多支持创建8个自定义分区,可以在需要的时候向SmartCache池添加新SSD盘来实现扩容。

SmartCache池:

  1. 负责管理SSD盘,为SmartCache分区提供粗粒度的SSD资源分配与回收。
  2. 负责为业务提供细粒度(4KB~128KB)的SSD缓存资源,不同的业务可以共享同一个SmartCache分区,也可以分别使用不同的SmartCache分区,各个SmartCache分区之间互不影响。

SSD资源多分区管理:

  1. 通过缓存分区调控,各业务LUN、文件系统独立使用所分配的SmartCache分区,避免不同类型应用之间的相互影响,保障存储系统整体的服务质量。
  2. 通过设置分区大小,实现不同业务LUN、文件系统的业务和性能的最佳匹配。
  3. 通过限制提供给非关键应用的缓存资源,向关键应用提供更多的缓存资源,保障关键应用的性能。

SmartCache分区缓存资源淘汰策略:采用LRU算法,每个SmartCache分区的淘汰相互独立,即各个分区各自进行淘汰处理,当某个分区的空闲容量低于低水位(默认16MB)时,触发该分区淘汰,直到空闲容量达到中水位(32MB) 。

读命中流程如下:

  1. 应用服务器读I/O访问LUN时,先访问RAM Cache。
  2. 在RAM Cache未命中,RAM Cache将读I/O请求发至智能缓存池。
  3. 在智能缓存池中命中时,下发读SSD盘的请求,读SSD盘完成后,将数据返回给RAM Cache。
  4. RAM Cache将数据返回给应用服务器。

读命未中SmartCache流程:

  1. 应用服务器读I/O访问LUN时,先访问RAM Cache。
  2. 在RAM Cache未命中,RAM Cache将读I/O请求发到智能缓存池。
  3. 智能缓存池中也未命中时,将结果返回给RAM Cache。
  4. RAM Cache下发I/O至后端机械盘。
  5. 机械盘将数据返回给RAM Cache。

主机写IO处理流程:

  1. 主机写IO访问RAM Cache,数据写入RAM Cache后直接向上返回;后续RAM Cache将数据回写到后端HDD上。
  2. 每主机写IO 流程中SmartCache不作额外处理,避免了对主机写IO性能的影响。
  3. 在RAM Cache在将数据回写到后端HDD前,通知SmartCache删除旧数据。SmartCache清除相应的元数据以标识相应的数据无效。

应用场景-高IOPS:

  1. 利用SSD盘较短的响应时间和较高的IOPS,SmartCache特性可以提高业务的读SmartCache特性适用于存在热点数据且以读操作为主的随机小I/O场景性能。尤其是存在热点数据,且读操作多于写操作的随机小I/O业务场景。例如:数据库、OLTP应用、WEB服务、视频服务、文件服务应用等。
  2. 典型配置:OLTP数据库应用,48块SAS盘(单盘容量300GB以上)组成硬盘域,并在其上创建存储池(RAID10),8个300GB数据LUN,2个100GB日志LUN。配置4块SSD盘,每个控制器的SmartCache池添加2块SSD盘(单盘容量200GB以上),对数据LUN开启SmartCache后,OLTP数据库(写比例不超过30%),TPM提升到3倍,IOPS提升到2倍。

SmartErase

数据销毁是指采用各种技术手段将计算机存储设备中的数据予以彻底删除,避免非授权用户利用残留数据恢复原始数据信息,以达到保护关键数据的目的,当用户使用完某个LUN后,可以以LUN为销毁单位,创建SmartErase任务,保证该LUN的数据不能被恢复,从而保证数据安全性。

  1. OceanStor 提供的是基于LUN 为单位的销毁方式,—种用户可见存储单元的销毁方式,减小销毁粒度,节省时间,提供硬盘的可重复利用性,而友商提供了以硬盘为粒度进行数据销毁的功能,而往往这种粒度太大,浪费时间,销毁的都是无效区域。
  2. SmartErase软件由用户手动配置,自动启动后台进程,生成随机数据覆盖写入LUN在硬盘上的实际分布空间,用户可以实时查看销毁进度,SmartErase软件支持销毁结束后,LUN重新被使用,用户只需要删除销毁任务即可,LUN即可完全恢复可用,属性保持不变。
  3. DoD(美国国防部,US Department of Defense)提出的数据销毁标准,对可写存储介质进行数据销毁的软件方法、三次覆盖写。系统内部生成随机字符进行覆写,覆写次数越大则数据销毁越彻底;默认覆写7次(可自定义3~99次)。

SmartDedupe & SmartCompression

重复数据删除和压缩是存储业界常用的数据缩减技术,旨在减少冗余数据占用的存储空间,提高存储系统的传输、处理和存储效率。重删压缩处理流程包括如下部分,数据分块、指纹计算、指纹查找、数据压缩/解压缩、数据保存;其中,指纹计算、数据压缩/解压缩比较消耗计算资源。为了减少重删压缩消耗的计算资源,将上述操作卸载到硬件加速卡上执行。

重删压缩数据读取流程:

  1. 上层模块将读数据请求传入重删压缩模块,其中包含本次读操作对应的地址及该地址对应的数据是否经过压缩的标志。
  2. 读取该地址对应的数据。
  3. 如果该数据标记为经过压缩,同时系统中存在重删压缩加速卡,则将该压缩数据传输到该加速卡上进行解压缩;如果加速卡不存在,则直接利用存储系统自身的CPU进行解压缩;将解压缩之后的数据返回上层模块。
  4. 如果该数据标记为未经过压缩,则直接将该数据返回上层模块。
文章出自: 本站技术文章均为原创,版权归 "Desen往事 - 个人博客" 所有;部分图片来源于 Yandex ,转载本站文章请注明来源。
本文标题:存储的Smart特性

1 comment

  • Hey There. I found your blog using msn. This is a very well written article.
    I will make sure to bookmark it and come back to read more of your useful info.
    Thanks for the post. I'll certainly return.

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

Captcha Code

ˆ Back To Top