您当前的位置是:  首页 > 技术 > 企业通信 > 技术 > 数据网络 > 技术动态 >
技术 - 企业通信 - 数据网络技术频道
  首页 > 技术 > 企业通信 > 技术 > 数据网络 > 技术动态 > VMware:复制10个14TB数据库只花20多分钟

VMware:复制10个14TB数据库只花20多分钟

--颠覆你的想象

2018-03-21 10:46:31   作者:Nancy、Peter Ye   来源:CTI论坛   评论:0  点击:


  先说结论, 14TB 的原始数据库, 通过带有去重压缩的数据库复制技术,形成镜像库(3.2TB,比例约为 4.3:1)。在镜像库的基础上,利用类似数据库快照的技术,快速产生虚拟库,创建时间为 2017-11-20 13:51:53 , 结束时间为 2017-11-20 13:53:57,用时仅 2 分零 4 秒。
  而在当天的测试中,通过镜像库能够创建出多达 10 个虚拟库,总共用时不超过 30 分钟。
  测试的环境和配置如下:


  vSAN 集群共用了如上 4 台 Server,每个 Server 仅有 1 个磁盘组,每个磁盘组由 1 块 Optane SSD P4800X 做为缓存层,7 块 SATA SSD 做为持久化层。
  随着云计算、大数据、移动社交等第三平台的飞速发展,大数据时代的数据已成为一种新型“石油”能源,逐渐成为驱动企业级创新,提升企业差异化竞争力,实现企业引领其所在行业发展的根本动能。那么如何灵活有效地获取、装载、处理飞速增长的海量数据,正在成为越来越多的企业 IT 部门需要正视的高难挑战。
  近日,经 Intel、VMware、D-Uni 颉一软件三方架构师和数据科学家联合测试并取得阶段性成果的数据库虚拟化之超融合方案彻底挖掘出基础层数据能源的井喷价值,以全球最先进的数据库虚拟化技术为核心,为用户提供集约化、敏捷化的数据服务,帮助用户实现对数据的统一管控以及对数据的敏捷化、运营化管理。
  颉一软件是查理第三次创立、定义、引领数据管理行业,以中国作为创新基地,辐射全球的基础科技提供商。近 30 年的 IT 行业经验,专注企业核心数据管理领域 20 年的技术沉淀,以及由其首创的数据库虚拟化技术,在中国 IT 行业数据爆发式增长且潜力巨大的需求市场背景下,促使查理带领硅谷技术团队回国创立 D-Uni 颉一软件,此次与 Intel 和 VMware 联手打造的数据库虚拟化之超融合方案,一经测试便取得惊人成果,14TB 数据库不到 3 分钟即完成拷贝,基于该平台的并行操作,这意味着只要目标端的硬件配置条件达标,10 个 14TB 数据库可在 20 多分钟左右完成拷贝! 那么其颠覆传统的数据管理模式,究竟是如何实现这一突破性创新,并有效帮助用户提升自身的差异化竞争力和持续不断的创新能力?
  首先,我们需要由方案的根本即困扰用户的难题出发,分析行业现状与用户需求,由此确定方案的价值方向。
  一困扰用户的难题
  企业海量数据的部分现状与面临的问题:
  • 应用数据鸿沟严重阻碍业务发展;
  • 问题:
  • 迅猛增长的数据量和数据速率已超过现有基础架构的支撑能力;
  • 数据竖井限制了企业对数据的共享和灵活使用;
  • 现行数据管道并不能有效支撑企业进行数据运营。
  不仅如此,随着全新数据服务时代的到来,用户又不断涌现出新的需求有待被满足、被解决,例如:
  • 移动计算要求数据具备即时性;
  • 大数据要求数据具备完整性和一致性;
  • 互联网+企业要求具备 DevOps;
  • 企业的业务敏捷化和成本控制催生对混合云的需求;
  • 最后,数据安全是每个人都关心的问题!
  二解决方案概述
  数据库虚拟化之超融合方案,由 Intel 提供硬件平台支持,结合 VMware 的分布式存储 vSAN,基于 Intel 最新处理器和超高性能的 3D XPoint Optane SSD 提供按需分配的能力,D-Uni 颉一软件在 Intel + VMware vSAN 环境中以全球最先进的数据库虚拟化技术为核心,为用户提供集约化、敏捷化的数据服务,帮助用户实现对数据的统一管控以及对数据的敏捷化、运营化管理。
  三解决方案测试
  在测试过程中,三方对该平台可提供的敏捷数据服务能力进行了测试与评估,包括对应生产支撑能力的弹性可扩展水平,实时数据分享至后生产端的能力,高可信精确数据保护能力等,并根据 Total TPM vs # of VDB (虚拟数据库, Virtual DataBase,单位 W)数据显示,随着 VDB 数量的增加,总的 TPM 值呈递增趋势。
  对比 HDD 物理源库,8 个虚拟机同时运行,其峰值性能约为 HDD 源库的 18.67 倍(峰值性能比约为168 万:9 万)
  上图:数据库压缩比:7.2T 数据库,压缩后 1.6T,压缩比约为 4.5:1,节省大量空间。
  成本分析,传统的 HDD 组网方式,54 个 CPU,128G 内存源库,TPM 值为 90308;
  SSD+vSAN+D-UNI 组网方式,8 台虚拟机,每台 2 核 CPU,TPM 可达到 160 万,性能提升约 18 倍,CPU 成本降低一半,节省 Oracle License 一半以上,节能 50% 以上。
  四解决方案价值
  通过本次测试,最终得出超融合数据平台具备如下优势:
  • 硬件成本不高于物理环境;
  • 整体性能不低于物理环境;
  • 平台性能具备云计算的可弹性扩展能力;
  • 丰富的系列化数据服务,如实时数据共享,高可信精确数据保护等。
  其中,vSAN 是内嵌于 vSphere ESXi 这一成熟稳定的 Hypervisor 内的分布式共享存储,支持 vMotion、HA、FT 和 DRS 等高级功能;如下某基金公司 Oracle RAC on vSAN 的截图:


  相比外置磁盘阵列:
  • 分布式存储分散了风险,提供更高的可靠性;
  • vSAN 具有无以伦比的高可扩展性,可在线的进行纵向和横向扩展,集群最高可扩展至 64 个节点,8.8PB 容量;
  • 能够采用标准的商用硬件(如 x86 服务器)及其内置的 SSD 和 HDD,极大地节省了成本;
  • 得益于数据靠近计算,SSD 更能淋漓尽致地发挥出其高性能低延迟的优势;一般而言,同样的 SSD,在 vSAN 架构里能发挥出在外置阵列的 3~6 倍的性能;如图可看到 vSAN 4 节点的集群,在 7 读 3 写,4KB 小 IO 的情况下,高达 17 万 IOPS 的性能,甚至可以媲美全闪存外置磁盘阵列。

  • 无缝地与软件定义存储的控制平面层(SPBM,基于存储策略的管理)对接,这一存储自动化的高级功能使得 vSAN 能够快速响应数据库对存储按照一定 SLA 标准分配资源;
  • 计算资源池和存储资源池在一个图形界面里进行运维和监控,方便了管理;
  更重要的是,D-Uni 选择 VMware vSAN 做为数据库虚拟化的目标平台,是业界最稳定可靠,而且市场份额最大,SDS 领域技术最先进的超融合架构。vSAN 的领袖地位可参见下图:
  五解决方案用例
  • 基于云的容灾
  • 即使是在灾难发生时,也可保证性能不下降,且具备弹性与可扩展性;
  • 可高频率、低成本、制度化经常化演练。
  • 混合云溢出(Overflow)系统
  • 当用户私有云容量不够时,可溢出到该系统完成相关业务,如银行用户进行晚间跑批业务;
  • 弹性可扩展性能有助于确保系统承受峰值以上的业务分配。
  • 云迁移
  • 一键式实现云迁移;
  • 弹性可扩展;
  • 数据保护;
  • 在线数据监控和警报;
  • 内置实时数据发布,分享到下游系统及边缘计算。
  六总结
  数据库虚拟化之超融合方案 是一个颠覆传统数据管理的综合软件平台,旨在为企业提供新一代敏捷数据服务。
  该平台在差异且多样化的 IT 环境中使用简化的配置和管理,提供整套融合数据服务,对于企业的开发/测试人员、运维人员、安全人员、审计人员、业务人员、管理人员在备份容灾、环境准备、数据资源管控、数据版本追溯、数据全生命周期管控、数据库调优/清理/逻辑归集、数据迁移、数据集约化管理、DevOps 加速、业务数据保护、操作分析预判、审计模式优化、快速按需实时数据提供等众多应用场景中均能发挥关键作用。
  事实上,D-Uni 颉一软件通过在国内外金融、电信等行业的不断应用实践,有关超融合数据平台的部分颠覆式性能、价值与优势已在某些国有大型商业银行以及某些大型电信运营商系统上线试运行并不停迭代更新,为用户提供更为完备优质的融合数据服务,其应用优势主要体现在:
  • 在处理数据量和速度方面均表现可观:
  • 5 分钟提供 30TB 数据库环境 (在某大用户处实测数据);
  • 3 分钟传输两千万数据库操作。
  • 超融合数据平台可适应新需求
  • 可保证数据的完整性和一致性;
  • 业务级高可信的数据保护;
  • 在线数据监控和告警。
  • 深度集成、开放接口
  • 与 iPaaS(Infrastructure platform as a service) 共同扩展;
  • 无缝融入 DevOps 程序。
  最后,基于此次三方的深入交流合作并成功测试运行数据库虚拟化之超融合方案以及所取得的成果,Intel/VMware/D-Uni 颉一软件将在未来进行更加深入全面的联合合作,为拥有巨大数据体量以及数据速率需求的企业客户提供基于核心解决方案、产品研发、交付、售后支持等一整套闭环融合数据服务,提高企业感知能力,缩短企业决策周期,为客户提供服务今天,适应未来的数据架构,赋能企业先人一步迈入融合数据新时代。
  赠书福利:
  对于《VMware Virtual SAN 权威指南》(原书第 2 版)书籍感兴趣,并想有机会参与获得赠书的的朋友,欢迎转发本篇文章,您的留言获赞数较多的,有机会获得《VMware Virtual SAN 权威指南》(原书第 2 版)1 本,共计 3 个名额。再提醒一遍,要获得赠书机会,您需要先留言! 然后邀请别人给你的留言点赞,留言获赞数较多的,才有机会获得赠书!
【免责声明】本文仅代表作者本人观点,与CTI论坛无关。CTI论坛对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。

专题