Gen8折腾记：ESXi

标签： 分享发现 Gen8 | 发表时间：2017-04-29 08:35 | 作者：标点符
出处：https://www.biaodianfu.com

什么是ESXi

ESXi是Vmware推出的一款免费虚拟化系统。可以为服务器创建多个虚拟系统。与 VirtualBox、QEMU、Hyper-V 等方案不同，ESXi 是 Type-1 Hypervisor，它直接运行于裸机上，不需要先安装一个操作系统，因此性能开销小，本身占地也很小，很适合安装到 TF 卡或 U 盘等小型存储器中。正巧，Gen8 的机箱内主板上有一个 USB 和一个 TF 卡接口（据说TF卡安装ESXi有时会读取不到），可以把 ESXi 安装进去。由于 ESXi 启动完成之后就在内存中运行了，不用担心 U 盘和 TF 卡的读写性能问题。

ESXi 的安装

安装镜像下载：

免费版本的ESXi目前已经改名为vSphere Hypervisor。这里我选择了定制版的vSphere 6.5 Nov 2016。

注意：定制版本自带了Gen8的驱动程序，但是部分网友报定制版本存在与RDM兼容文理，会导致虚拟机卡死。

安装过程非常的方便，在主板上插上1个不用的USB硬盘，然后直接使用iLO进行安装。

  • 重启ILO
  • 在系统自检后的POST阶段，按住F11，进入Boot设置阶段
  • 选择从CD ROM启动
  • 在虚拟驱动器中挂载下载的镜像文件

安装完成后会在界面中出现IP地址。

在浏览器中输入IP地址，打开页面后输入安装时设置的帐号和密码即可登录。

ESXi虽然免费，但是还是需要输入许可证号方可免费使用，许可证的申请只需在ESXi官网上注册一个帐号就会分配。

虚拟机的创建与管理

在创建虚拟机前，需要先存储。流程：存储->创建数据存储->创建新的VMFS数据存储，将SSD盘全部创建，用于当作系统盘，后期专门负责安装系统。

创建虚拟机和管理虚拟机的流程和Vmware Workstation的流程完全一致，另外也可以通过本地电脑中的Vmware Workstation创建和管理局域网中服务器上的虚拟机。

创建磁盘映射（RDM）

Gen8的最核心用途是作为NAS，考虑到后期搭建的NAS系统跑在虚拟机里，如果将数据也存储在虚拟机里会对后期的数据迁移记恢复造成较大的麻烦，合理的方式是NAS系统安装在虚拟机里，数据存自己存储在物理磁盘中，而不是再隔一层文件系统。RDM （VMware 开发的开放虚拟磁盘格式，原理是创建一个的特殊 .vmdk 文件（一个文本文件）映射到一块物理磁盘，当虚拟机向这块 VMDK 写入时，实际写入的是后面的物理磁盘。

那就用 RDM 吧。具体流程：

  • 在ESXi 的设置中打开 SSH 访问

具体操作为，在管理 -> 服务 中开启TSM（ESXi Shell）和TSM-SSH（SSH）这两个服务。

  • 通过Putty连接ESXi

一开始使用了xshell。发现连接不进去，于是改为了Putty。

3、寻找需要直连的磁盘路径

在WEB管理后台的磁盘管理中，找到需要想要直连的磁盘，可在页面下方获取到磁盘所在路径

我这里找到的是

  • /vmfs/devices/disks/naa.600508b1001ce379ba83424700f52501
  • /vmfs/devices/disks/naa.600508b1001c6fccee4ef9201d10fd2a

4、寻找已经创建好的SSD虚拟磁盘位置

同样在WEB管理后台就可以查看到，这里的路径是：

  • /vmfs/volumes/5638afb3-daa60169-4788-941882388144
  • 创建RDM文件

创建RDM需要使用ssh中才能进行，具体的指令为：

vmkfstools -z /vmfs/devices/disks/naa.600508b1001ce379ba83424700f52501 /vmfs/volumes/5638afb3-daa60169-4788-941882388144/work.vmdk
vmkfstools -z /vmfs/devices/disks/naa.600508b1001c6fccee4ef9201d10fd2a /vmfs/volumes/5638afb3-daa60169-4788-941882388144/life.vmdk

具体含义：

  • 第一个参数：创建模式，可选参数-z或-r。两种模式的差别很小，正常使用2种模式都可以。
    • -r 参数创建的是 Virtual Compabilitiy Mode RDM，即 ESXi 会截获除 READ / WRITE 之外所有 SATA 指令
    • -z 参数则是创建 Physical Compability Mode RDM，即 ESXi 除了 LUN REPORT 指令，其他全部原样传递给物理磁盘。
  • 第二个参数：物理磁盘路径
  • 第三个参数：创建的.vmdk 文件的保存路径，文件名可自定义。

执行完上述命令后就会生成RDM文件了，想知道文件中到底有那些信息，可以使用：

[root@localhost:~] cat /vmfs/volumes/5638afb3-daa60169-4788-941882388144/work.vmdk
# Disk DescriptorFile
version=1
encoding="UTF-8"
CID=fffffffe
parentCID=ffffffff
isNativeSnapshot="no"
createType="vmfsPassthroughRawDeviceMap"

# Extent description
RW 7813971632 VMFSRDM "work-rdmp.vmdk"

# The Disk Data Base
#DDB

ddb.adapterType = "lsilogic"
ddb.geometry.cylinders = "486397"
ddb.geometry.heads = "255"
ddb.geometry.sectors = "63"
ddb.longContentID = "3a4251a9a640535171363678fffffffe"
ddb.uuid = "60 00 C2 9a 3f 7c ba f2-fd 62 45 f5 cd 51 0e 26"
ddb.virtualHWVersion = "13"
[root@localhost:~]

将这样创建得到的特殊 .vmdk 文件分配给虚拟机，便可在虚拟机中访问到外层 ESXi 的硬盘。如果你已经装了Windows的虚拟机，你会发现新增了磁盘以后，硬盘并没有在系统中出现，原因是新增的磁盘还没有被格式化。

下载磁盘工具格式化以后即可使用。

EXSi 的磁盘性能问题

SSD测试结果：

HDD测试结果：

从上图可知，随机读写的速度非常的差。经查询是Gen8 使用的Raid卡驱动导致的。解决办法是要门装低版本的ESXi5.5(VMware ESXi™ 5.5 Update 2 | 09 SEP 2014 | Build 2068190)，要么把B120i的驱动刷到较低版本。这里使用的是后一种。

  • 下载驱动： scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib
  • 在Web管理后台上传下载下来的vib文件到ESXi磁盘上
  • 使用ssh登录ESXi，并转到文件所在目录：cd /vmfs/volumes/5638afb3-daa60169-4788-941882388144
  • 将vib文件复制到系统目录/var/log/vmware：cp scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib /var/log/vmware/
  • 开启维护模式：esxcli system maintenanceMode set –enable true
  • 卸载原来的驱动：esxcli software vib remove -n scsi-hpvsa -f
  • 安装上传的驱动：esxcli software vib install -v file:scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib –force –no-sig-check –maintenance-mode

完成后重启ESXi，退出维护模式，开启虚拟机测试一下性能。如需恢复对应的版本为：scsi-hpvsa–5.5.0.102-1OEM.550.0.0.1331820

按照上述流程完成后，重启设备，再次打开后台发现硬盘没了（T_T）。

在此基础上有

  • 查看一下加载的驱动和驱动版本：esxcli software vib list | grep ahci

若加载了vmw-ahci，形如：

sata-ahci                      3.0-22vmw.650.0.0.4564106             VMW              VMwareCertified   2015-11-02
vmw-ahci                       1.0.0-32vmw.650.0.0.4564106           VMW              VMwareCertified   2015-11-02

另外的解决方案是：强制禁用通用驱动： 

esxcli system module set --enabled=false --module="vmw_ahci"

再次重启，丢失的硬盘终于恢复了，开启虚拟机发现无法启动，原因是还在维护模式。关闭维护模式：esxcli system maintenanceMode set –enable false

参考链接： http://www.nxhut.com/2016/11/fix-slow-disk-performance-vmwahci.html

进入Windows 测试磁盘性能：

SSD的测试情况：

HDD的测试情况：

可以看到：SSD的性能有较大的提升，仅在4K小文件时的性能较差。HHD的性能在顺序读写的时候还OK，但是在小文件读取的时候还是非常的慢。

相关 [gen8 esxi] 推荐：

Gen8折腾记：ESXi

- - 标点符
ESXi是Vmware推出的一款免费虚拟化系统. 与 VirtualBox、QEMU、Hyper-V 等方案不同，ESXi 是 Type-1 Hypervisor，它直接运行于裸机上，不需要先安装一个操作系统，因此性能开销小，本身占地也很小，很适合安装到 TF 卡或 U 盘等小型存储器中. 正巧，Gen8 的机箱内主板上有一个 USB 和一个 TF 卡接口（据说TF卡安装ESXi有时会读取不到），可以把 ESXi 安装进去.