服务器虚拟化在提高效率、降低成本的同时,也使存储容量大量增加,并使存储全生命周期的成本大幅提高,同时带来了复杂性。因此,在虚拟化环境中,使用新的技术优化存储,从而有效防止存储容量的膨胀,就变得至关重要。
三年前,IBM系统存储总经理Andy Monshaw在演讲时曾经说过:“在2005年之前,数据量仍在可控范围内,因为在那个时候人们有能力预测明年将有多大的存储需求。”但此后,由于数据量的急速上升、各种法律规定的不断增多以及人们对数据的复杂度(比如数据挖掘)要求不断提高,存储需求开始剧烈增长。
本世纪初期,IT经理们通过持续改进,基本上能够控制成本,同时获得较好的运营效果,如使用更好的维护方式和更充分地利用现有的存储容量。但从2005年开始,数据量的增长速度迅速加快,控制成本变得越来越难,于是越来越多的IT经理选择了服务器和桌面计算机的虚拟化。
服务器与存储间的矛盾
服务器虚拟化能够使一台物理服务器成为多个用户的虚拟机,每个虚拟机不仅需要拥有20GB的操作系统空间,还需要自己的存储空间、备份空间和存储I/O。随着越来越多的用户要求运行各式各样的应用程序,有越来越多的I/O密集进程启动,使虚拟服务器变得杂乱无章。
改进的自动分配系统使配置新的虚拟机变得十分容易,几分钟就可以完成。许多企业目前拥有虚拟化革命以前十倍数量的操作系统。Gartner Group在其“2009企业存储关键问题”报告中指出,自从“灵活的服务器虚拟化部署工具需要共享存储以来,许多企业开始初次部署SAN和NAS……结果,存储适配器突然之间变成了应用程序性能的瓶颈,在传统的备份方式环境下问题尤其多。”这些问题包括:
●大量消耗存储网络空间;
●剩余存储网络资源紧张;
●备份数据激增;
●频繁地需要增加新的存储空间;
●存储结构、存储管理、数据复制的复杂度增加。
服务器虚拟化使我们不得不将存储在低成本、高容量磁盘驱动器中的操作系统数据转移到SAN/NAS环境中,而往往使SAN/NAS每GB存储量的成本更高。此时,存储虚拟机可能会(很多情况下已经)带来巨大的成本。由于维持存储的全生命成本大约是购买价格的7倍,因此,使用新的技术在虚拟化环境中优化存储从而防止存储膨胀,变得至关重要。
如何平衡与优化
如果管理得当,虚拟化服务器环境中的SAN/NAS存储配置能够减少存储数据的成本、提高性能、简化操作。通常情况下,用户可以优化经典的“cheaper-better-faster”三角形的两个边,但无法优化全部的三个边,因为目前还不存在“三赢”的方法。
下面我们将比较6种虚拟存储管理技术,并评价哪种技术或混合技术能够最佳地应付何种数据管理的挑战。
良好的虚拟化服务器环境需要服务器工作小组、网络工作小组和存储工作小组紧密团结在一起。虽然这些部门可能会变得越来越专业化,但是为了建立平衡的服务器—存储策略,每个工作组必须了解整体的优先权、进程以及其他工作组的需求。使用虚拟服务器的存储计划需要系统能够高效地满足数据增长、成本控制和性能方面的需求。
下面是几种节约存储的方法,不得不说的是,其中没有一种是完美的。
●虚拟机操作系统镜像的重复数据删除。删除几乎相同的操作系统镜像数据,能够极大地减少存储空间的需求量。
●为虚拟机实施分层存储。根据不同类型数据的相对离散度、优先权和访问频率,将其保存到不同的存储层中。
●整合SAN。后面会讨论到几种简化SAN的方法。
●考虑NAS。用NFS对虚拟机存储和重复数据删除简化管理。
●使用快照功能。通过快照功能得到几种完整操作系统镜像的“黄金拷贝”,也就是它们的快照。这样,大量的虚拟机都可以存储在这几个完整操作系统镜像空间里。
●重复数据删除备份。重复数据删除备份在虚拟服务器环境中能够带来独特的益处。
一、操作系统镜像的重复数据删除
在虚拟环境中,每个操作系统镜像的80%~90%是相同的。举例来说,每位用户的Windows启动界面都是一样的,在这些操作系统中,只有一些诸如主机名称和注册表数据等系统信息是不同的。而且,操作系统镜像对磁盘I/O性能的影响也不大。目前,有些厂商提供主存储器的重复数据删除工具,使用该工具可以使操作系统镜像的数量减少70%以上,而对使用性能影响很小。某著名存储厂商还保证操作系统重复数据删除功能可以减少至少50%的空间使用量。
案例:虚拟机存储重复数据删除得到了越来越广泛的使用。如某大型保险公司拥有400TB以上的主存储容量和200个虚拟服务器,每个虚拟服务器拥有20GB以上的操作系统镜像。在对虚拟机操作系统镜像进行重复数据删除后,这家公司在今后三年之内将节省75万美元的成本。
二、使用存储分层
IT经理们不仅会让存储工作团队明确新的存储需求量,还会确定未来存储数据的类型。存储工作团队可以为这些不同类型的数据安排不同的存储区域。有些访问频率较低的数据将被安排在访问速度较慢的第三层,第三层存储的成本比第一层要便宜5~7倍。访问频率更高的数据则被安排在第二层,比如应用程序及其相关数据。而访问频率最高的数据则被安排在第一层,这些数据往往是一些经常改变的资料或者数据库。
请注意,有些虚拟化工具,如VMware Site Recovery Manager (SRM)目前要求恢复单一虚拟机所有数据必须存储在一个单独的ESX存储池中。
案例 某金融服务公司拥有超过300TB的存储量,虚拟机环境杂乱无章。该公司将操作系统数据存放在便宜的第三层存储中,将经常使用的应用程序和用户数据放在第二层和第一层。于是,公司70%的存储量都存于第三层了,这比之前将所有虚拟机数据都存放在第一层里要减少75%的成本。
三、整合SAN
过去的大型光纤通道SAN能够支撑成百上千的物理服务器,而且每个光纤都有12个以上的交换机。现在虚拟机服务器能够以10∶1、15∶1、甚至20∶1的比例整合客户账户。这种模式要求更宽、更快的数据管线和更少的端口,建立更均衡、更快的SAN。上世纪90年代,简单双向SAN架构足可以应付中型以下企业的需求,而目前SAN的带宽已经达到8Gbps,这对性能的提高帮助很大。
有些虚拟化管理产品,如VMware ESX 3.x,并不支持存储多路径平衡,并且同一时间只支持一个I/O通道。VMware ESX 4.x现在允许第三方的多路径软件(如EMC的PowerPath VE)同时调用多个I/O路径。这减少了至少50%的端口数量和带宽需求,同时减少至少50%的成本。虽然高性能的端口可能更昂贵,但需要的数量变少了。
另一个选择是N_Port virtualization (NPIV),NPIV允许单一HBA支持多个虚拟主机总线适配器(vHBAs)。每个用户操作系统在SAN中都拥有一个自己的ID,提高了可靠性和安全性。存储管理员能够使用现有工具观察从虚拟服务器到存储阵列的SAN进程。这给排查问题、I/O映射和容量规划等工作带来了方便。
四、考虑NAS
除了使用管线通道或者基于SAN的iSCSI外,虚拟存储还可以通过NFS在NAS硬件上实现。NAS设备为虚拟服务器提供随时可以使用的文件系统,使对基于服务器的文件系统(如VMFS)不再有需求。有利就有弊,NAS相比SAN的缺点在于其安全性较低、速度较慢。不过如果部署得当,使用独立VLAN和多个千兆以太网或万兆以太网连接,NAS也能够达到与光纤通道SAN同样的安全性和速度,同时复杂度和成本更低。
NAS的优势包括:
●虚拟机服务器操作系统的重复数据删除能够显著地减少存储需求。该功能包含在某些厂商的NAS工具中,如EMC的Celerra和NetApp的FAS。
●现有的低成本千兆和万兆以太网可以代替复杂和昂贵的光纤通道SAN。
●NAS管理起来更简单。比如,存储管理员能够在不影响主机系统的情况下将NAS存储扩展给虚拟服务器。而SAN则需要扩展LUN或创建和提供更多的LUN给服务器,这将扩展文件系统,于是不得不给其他的管理员主机带来改变。
部署NAS需要的最佳方案和注意事项有:
●不要远距离路由NAS,因为延迟问题会变得很严重;
●在UDP和超长帧上使用NFS v3,这会最大化发挥系统性能;
●可以考虑使用独立的VLAN,保证安全性和传输的独立性;
●VMware SRM只提供有限的NAS支持。
案例:某保健组织拥有200TB以上的主光纤通道存储,在NAS上部署了VMware后,简化了管理工作,本地操作系统重复数据删除也变得容易了。这家组织大大地减少了原来使用SAN时候的虚拟服务器连接成本,也减少了支持虚拟机的存储空间需求。
五、使用快照功能
使用基于阵列的操作系统镜像快照能够快速经济地部署新的虚拟机,这一切只需要给虚拟机服务器提供可写的、空间优化的完整“黄金操作系统镜像”快照。系统可以利用快照快速地建立新的虚拟机,节省大量的磁盘空间。快照镜像的更新存放在一个不同的位置,通常命名为“save-vol”或者“snap reserve”,每个操作系统镜像均可分别更新,保持其独特的个性化设置。通常,许多压缩后的操作系统快照只需要几个完整镜像所需的空间。
这种方法的最佳方案是:页面文件存储在第一层和第二层中,而不是在基于快照的C盘,因为页面文件改变很快,使用也很频繁。
快照需要为每个虚拟机账户开辟一块新的卷或者分离的NFS卷。“黄金操作系统镜像”的更新档并不会自动传播到这些卷中。解决的方法有两种:
一个是为每个基于快照的操作系统实例配置更新档。这很简单,但是空间使用效率不高,尤其是当save-vol越来越大时。
另一个是为“黄金镜像”配置更新档,然后用新的快照重新部署所有的操作系统实例。保存系统状态信息(注册表、程序文件、主机名称等)为备份。相比第一种方法,这种方法的难度要大得多,但是保证了操作系统的标准和安全性,也能够控制更新档越来越大带来的存储需求增长。
操作系统镜像快照的部署能够节省大量的成本和预算。举个例子来说,存储100个完整的20GB操作系统镜像拷贝需要2TB的存储空间。如果每GB需要20美元,那么就需要4万美元左右。使用快照镜像能够以20倍的比率压缩存储需求。相同的100份拷贝通过快照部署则只需要100GB的磁盘空间,成本降低至2000美元。
案例:一家大型出版企业拥有300TB的主存储容量,使用阵列快照为海外作者和开发商提供操作系统镜像,获得了更快的速度、更高的灵活性,节省了空间和成本。由于这家企业的工作量随着出版数量而改变,快速使其能够迅速灵活地提供VDI桌面。
六、备份存储的重复数据删除
如果虚拟镜像中重复数据太多,那么使用重复数据删除可以减少95%的备份存储所需空间。备份数据重复数据删除拥有很高的投资回报率,而几乎没有任何副作用。下列两种方法在虚拟环境中都可以得到很好的效果:
基于主机的备份重复数据删除(比如EMC的Avamar和Symantec的PureDisk)都能够代替现有的备份软件。主机重复数据删除将消耗更少的网络带宽。
基于目标的重复数据删除(比如Diligent Technologies、EMC的Data Domain unit、NetApp和 Quantum)实施起来更方便,而且与现有备份软件相兼容,但不会降低网络带宽负载。
虽然标准磁带备份相比磁盘和虚拟磁带库(VTL)备份更便宜,但当使用重复数据删除工具达到100∶1的数据压缩率时,重复数据删除后的磁盘将接近磁带的存储能力。假设使用LTO-4磁带备份数据,其成本为200美元/TB,那么,备份100TB的虚拟机数据就需要2万美元。如果我们假设压缩率为25∶1的重复数据删除磁盘的成本大约为1万美元/TB,则压缩前的购买成本为10万美元,这比磁带成本高得多,而在100∶1的压缩率下,这一成本下降至2.5万美元,这几乎与磁带备份的价格差不多。从商业角度来看,使用重复数据删除磁盘存储拥有一定的经济性。
重复数据删除磁盘存储相比磁带的优点如下:
●灾难恢复备份的复制成本更低;
●消耗的电能、占用空间和制冷需求更少,有益于保护环境;
●远程复制时节省带宽;
●相比磁带来说减少了管理上的问题;
●通过SLA显著地减少商业危险,同时相比磁带拥有更快的恢复速度。
案例:现在备份数据重复删除已经非常常见。举个例子来说:某大型区域性银行组织拥有200TB以上的主磁盘存储空间,支持的虚拟服务器有300~400个。使用基于源端的虚拟机备份重复数据删除,系统几乎取消了备份存储系统、软件及其维护,与此同时提高了系统的灾难恢复能力。
链接:目标与选择
首先,你需要确定在服务器虚拟化的存储支持方面有哪些需要应付的挑战。你的系统将在服务器虚拟化方面深入到什么程度?业务团队和技术团队都为这次改革准备好了吗?你的服务器、存储、网络工作团队互相协商解决平衡的问题了吗?
然后,列出系统的需求、目标和优先级。对于生产性部门、测试和开发部门以及一些业务关键性应用来说,优先级的确定是比较困难的。一些调整参数和竞争环境也是至关重要的选择因素。
在生产性部门,如果性能具有最高的优先级,那么使用强大的SAN是最好的方案,但万兆NAS架构管理起来更加简单,而分层存储也是一个不错的方案。
如果考虑方便和效率的话,那么,主存储重复数据删除、操作系统快照和备份重复数据删除都是不错的选择。如果没有远距离路由的话,NAS解决方案将十分强大,而且方便管理。
如果成本是首要考虑的因素,那么将重复数据删除、特定存储分层和操作系统快照结合起来能够组成一个最佳的方案。如果单从成本上来说,NAS的成本也很低。
在测试和开发部门,快照能提供方便的部署和再部署,主存储的重复数据删除能够减少开发成本。
对于关键性应用来说,优先考虑的应该是可靠性和适应性、灾难恢复速度等,这种情况下应该使用SAN;如果能够结合操作系统的重复数据删除和基于磁盘的备份存储,优势将更加明显。
总之,最终的目标还是满足越来越大的数据量存储需求,这需要使用高效的存储管理和整合手段,平衡虚拟机服务器和VDI环境。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号
TechTarget
官方微博
TechTarget中国
作者
相关推荐
-
通过VMware DRS规则管理Windows Server 2016授权成本
对于想要缓解Windows Server 2016授权成本负担的IT管理员,可以考虑VMware的分布式资源调 […]
-
XenApp 6.5终结促使IT重新考虑应用交付
XenApp 6.5即将终结,Citrix用户将有机会重新审视其整个应用交付策略。 Citrix公司的XenA […]
-
Nutanix Acropolis管理软件的构成与功能特色
Nutanix Acropolis管理软件使虚拟化管理人员对主机和集群的管理简单高效。 人们在谈到Nutani […]
-
OpenStack及Openshift旨在简化VM和容器管理
与机相比,IT人员可更快地启动和关闭容器,而且,容器需要更少开销,基于此,目前这种技术已经有几种实际用例。然而 […]