vSAN 简述
VMware vSAN™聚合本地或直连的数据存储设备, 以便在 vSAN 群集中的所有主机上共享一个存储池。vSAN 消除了对外部共享存储的需要, 并简化了存储配置和虚拟机资源调配。
vSAN 是一个分布式的软件层, 包括在 ESXi 管理程序中, 它与 VMware vSphere 完全集成在一起。vSAN 支持需要共享存储的 vSphere 功能, 如高可用性 (HA)、vMotion 和分布式资源计划程序 (DRS)。VM 存储策略使您能够定义虚拟机存储要求和功能。
vSAN 群集中的每个主机都可以为群集提供存储。这些存储设备组合起来创建单个 vSAN 数据存储。混合 vSAN 群集使用闪存设备来进行容量层的缓存层和磁性驱动器。all-flash vSAN 群集对缓存层和容量层使用闪存设备。此体系结构为虚拟环境创建了一个 flash 优化的、具有弹性的共享数据存储。
注意:
- vsan存储器上已应用存储策略的虚拟磁盘最大占用空间一般是分配空间的2倍(副本);
- 群集HA保护状态会影响HA故障切换和虚拟机vMotion;
- 虚拟机存储策略合规性会影响虚拟机快照创建。
参考文章:
vSAN 配置步骤简述
步骤 | 说明 |
---|---|
设置 Virtual SAN 的 VMkernel 网络 | 要在 Virtual SAN 群集中启用数据交换,必须为每个 ESXi 主机的 Virtual SAN 流量提供一个 VMkernel 网络适配器。 |
创建 Virtual SAN 群集 | 创建群集时可以启用 Virtual SAN。 |
为 Virtual SAN 配置群集 | 可以使用“配置 Virtual SAN”向导来完成 Virtual SAN 群集的基本配置。 |
编辑 Virtual SAN 设置 | 可以编辑 Virtual SAN 群集的设置以更改磁盘声明方法并启用去重和压缩功能。 |
在现有群集上启用 Virtual SAN | 可以编辑群集属性以便为现有群集启用 Virtual SAN。 |
禁用 Virtual SAN | 可以关闭主机群集的 Virtual SAN。 |
为 Virtual SAN 群集配置许可证设置 | 评估期到期前或当前分配的许可证到期前,必须为 Virtual SAN 群集分配许可证。 |
查看 Virtual SAN 数据存储 | 启用 Virtual SAN 后,将创建一个数据存储。您可以查看 Virtual SAN 数据存储的容量。 |
使用 Virtual SAN 和 vSphere HA | 可以在同一个群集中启用 vSphere HA 和 Virtual SAN。就传统数据存储而言,vSphere HA 为 Virtual SAN 数据存储中的虚拟机提供相同级别的保护。该级别的保护在 vSphere HA 和 Virtual SAN 进行交互时会有特定的限制。 |
ESXi 系统快捷键
ALT+F1 = Switches to the console.
ALT+F2 = Switches to the DCUI.
ALT+F11 = Returns to the banner screen.
ALT+F12 = Displays the VMkernel log on the console.
将 HDD 标记为 SSD
[主机和群集-->选择“主机"--> 管理--> 存储器--> 存储设备--> 选择磁盘--> 点击下图按钮“标记为SSD/HDD”]
更改 vSAN 网络组播地址
[主机和群集-->选择“主机"--> 管理--> 安全配置文件--> 服务--> 属性--> 选择“SSH”--> 选项--> 启动]
使用putty、xShell远程工具连接ESXi主机,root权限执行:
esxcli vsan network ip set -i vmk1 -d 224.2.3.6 -u 224.2.3.5
esxcli vsan network list
vSAN 实时性能监控
esxtop -a
命令查看系统状态;键入 x 查看vSAN状态(SDLAT=Standard deviation of latency in millisecs),键入 h 获得帮助、如下图:
ESXi 版本升级或降级
参考:esxcli software vib 命令为 ESXi 5.x/6.x/7.x 主机安装补丁程序
- 升级前请确认产品互操作性及硬件兼容性:
VMware 产品互操作性列表
VMware 兼容性指南
基于认证组件构建自己的 vSAN - -- 通过ZIP包在线升级或降级
esxcli software vib update -d "/vmfs/volumes/vsanVol01/vib/update-from-esxi6.0-6.0_update02.zip"
esxcli software profile get
- -- 通过ISO包离线升级或重装
将ESXi设置为维护模式-->重启后使用ISO介质引导启动-->(X)Upgrade ESXi, preserve VMFS datastore-->(F11)Upgrade-->(Enter)Reboot-->退出维护模式(注意:升级后首次启动失败会回退到旧版本) - 升级完成后会出现vSAN集群告警:
ESXi 驱动升级或降级
参考:2005205 - 在 VMware ESXi 5.x 和 ESXi 6.x 中如何下载并安装异步驱动程序
- 升级前请确认产品互操作性及硬件兼容性:
VMware 产品互操作性列表
VMware 兼容性指南
基于认证组件构建自己的 vSAN - -- 通过vib包在线升级或降级
将ESXi设置为维护模式-->使用下列命令安装驱动-->重启ESXi服务器-->退出维护模式
esxcli software vib install -v /vmfs/volumes/lsi-msgpt3-12.00.01.00-1OEM.600.0.0.2768847.x86_64.vib
- -- 查看驱动版本信息
esxcli software vib list | grep -i msgpt3
- -- 移除驱动程序
esxcli software vib remove -n lsi-msgpt3
更改 NIC 编号
NIC 未配置的情况下更改(vmnic未加入vSwitch)
参考: 2019871 - 在添加新网卡或升级后,ESXi/ESX 主机失去网络连接
参考:2091560 - VMware ESXi 如何确定为设备分配名称的顺序
- 查看网卡对应关系:
esxcfg-nics -l
esxcli network nic list
或者执行以下命令:
localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias list
- 备份配置文件:
cp /etc/vmware/esx.conf /etc/vmware/esx.conf.old
- 更改配置文件:
vi /etc/vmware/esx.conf
- 删除MAC与网卡对应的行:vi 模式下使用 dd 来删除行,下列信息系统开机时会重新生成
NIC 已配置的情况下更改:
sed -i 's/vmnic1/vmnic5/g' /etc/vmware/esx.conf
或者
localcli --plugin-dir /usr/lib/vmware/esxcli/int/ deviceInternal alias store --bus-type pci --alias vmnic7 --bus-address m01000300
移除 vSAN 存储器
注意:此操作适用于vSAN环境重建,解决vSAN群集未正常退出导致vSAN Storage无法移除的问题。
查看文件系统:df -h
查看FS UUID:esxcli storage filesystem list
查看磁盘信息:esxcli storage core device list
退出vSAN群集:esxcli vsan cluster leave
卸载vSAN模块:vmkload_mod -u vsan
加载vSAN模块:vmkload_mod vsan
(不加载模块时会出现物理磁盘错误)
设置Disk格式:partedUtil mklabel /dev/disks/mpx.vmhba1\:C0\:T1\:L0 msdos
查看Disk格式:partedUtil getptbl /dev/disks/mpx.vmhba1\:C0\:T1\:L0
移除 vSAN 群集中的 Host
注意:退出vSAN群集的Host需要删除vSAN VMkernel,群集Master角色竟选避免组播干扰;不删除vSAN VMkernel的情况下可能出现vClient显示存储器容量不正常。
- 将Host进入维护模式,移除该Host的vSAN磁盘组;
- 从vSAN群集中移除Host,关闭vSAN流量并删除VMkernel;
- 查看vSAN群集及角色:
esxcli vsan cluster get
vSAN 群集迁移 vCenter
参考:2151610 - 将 vSAN 群集从一个 vCenter Server 移至另一个 vCenter Server
执行以下操作前请先查阅官方 KB,以下步骤仅供 vSAN 6.2 环境群集迁移参考:
- 新建vCenter服务器;
- 新建vSAN群集并开启vSAN功能,设置为手动添加磁盘;
- 添加ESXi主机到新的vSAN群集,旧vCenter会自动断开Host;
- 更改存储策略并关联vSAN群集,手动将存储策略应用到虚拟机;
- 将旧vCenter中的vSAN群集从清单移除;
- 检查新vCenter中vSAN群集运行状态及虚拟机合规性状态。
常用组件
- VMware Virtual SAN Witness Appliance -- vSAN见证服务器(FTT容错组件)【6.2 | 6.2a】
- VMware Client Integration Plug-in -- 客户端集成插件(浏览器上传插件)【5.6 | 6.0】
- HCL数据库
- VMware Remote Console
注意:嵌套ESXi环境需要开启虚拟网卡安全选项的的混杂模式,以解决vSAN网络测试失败的问题。
very good