慧聪广电网

华为大数据存储经验证实现最大40PB文件系统

http://www.broadcast.hc360.com2014年05月09日10:26 来源:企业网T|T

    【慧聪通信网】全球领先的信息与通信解决方案供应商华为,近日宣布旗下大数据存储OceanStor9000经过全面的验证可实现目前业界最大40PB文件系统,相当于4万块1TB硬盘的超大容量空间可同时被一个文件系统进行目录管理,这是OceanStor9000大数据存储继获得500万OPS性能冠军之后又一次领先业界的创举。此次验证同时得到了英特尔、希捷以及AgigATech等业内一流合作伙伴的大力支持。

    随着企业的发展以及大数据时代的到来,许多行业为了在多个独立的应用和数据孤岛中挖掘出更大的数据价值,希望将数据融合起来共享使用,因此对单一文件系统的容量提出了非常高的要求。比如,中国的智慧城市建设已经大步迈进8Mbps码流的高清时代,视频存储已经达到10~20PB存储容量;互联网新媒体的数据量,也从TB级进入几十PB级集中存储时代;目前我国正在推动建设的国家级基因库将建设一个能够容纳50PB容量基因数据存储和分析仓库。由此可见,在大数据时代背景下,行业客户对于PB级统一命名空间的高性能存储已经呈现出旺盛的需求态势。华为OceanStor9000大数据存储系统40PB单一命名空间的实证正是在这样的背景下,以客户实际需求为导向的又一次扛鼎之作。

    40PB超大容量的实现得益于多项创新技术的支撑:首先,华为自主研发的分布式文件系统WushanFS,采用创新的元数据管理方式,使得系统的性能、可靠性以及扩展能力三个方面可以并驾齐驱,真正实现性能、容量线性增长,数据可靠存储。其次,动态哈希表技术、目录动态子树分裂技术、全局一致性缓存、RDMAoverTCP等互联网技术的引入,为OceanStor9000大规模横向扩展后性能线性增长提供了技术保证。另外,数据隔离技术将一个大规模的集群规划为多个中等规模存储空间,有效的解决了大数据存储设备大规模扩展后故障域过大,故障概率高的可靠性问题。集群任务拆分、并发、合并的MapReduce设计思想的引入,也最大限度的降低了大规模集群管理的系统压力。

    在40PB大规模集群的验证过程中,OceanStor9000展现了其优越的易管理性和扩展性,288节点集群部署在60分钟内完成,单节点扩容在1分钟内完成,全过程图形化界面操作,容量和性能线性扩展,最大可提供40PB容量,200GB/s带宽。

    华为存储产品线总裁范瑞琦表示:“OceanStor9000大数据存储系统的40PB超大容量的实现,能够真正应对大数据时代的数据量冲击,可以更好的帮助行业客户实现业务增长,例如可以支持媒体行业数千高清码流的电视节目同时在线制作,满足以央视为代表的全球性电视台的所有节目制作需求;能够支持上万路1080p摄像头实时录像和并行分析,满足像上海、广州、成都等大中型智慧城市全网视频监控需求。”

    英特尔通讯和存储基础设施事业部存储部门总经理BevClair对此次合作评价到:“大数据时代的到来为我们提供了变革性的机遇,提供帮助我们解决历史性商业问题的机遇。英特尔和华为强强联合,通过研发大数据项目的技术和工具,不断满足客户的需求。英特尔和华为已经成功地完成对40PB的大数据存储工作负载的分析,为应用方面的存储解决方案的商业部署提供了参考。我们现在已经具备了打破当今容量瓶颈且满足客户需求的能力。我们会加快产品上市的时间,提供灵活性强、性价比高的解决方案,满足日益增长的存储需求。”

    希捷科技全球副总裁暨中国区总裁孙丹女士表示:“大数据时代数据的快速增长,给客户的存储需求带来极大的挑战。从单点来看,客户需要更大容量更稳定的存储介质;从存储系统整体来看,超大容量的单一文件系统对客户将具有更实际的应用价值,和更广泛的应用场景。此次华为与多家合作伙伴联合验证40PB单一文件系统正是在这样的背景下开展的。希捷愿意与华为共同联手,推动大数据存储技术的研发创新和方案推广。”

    AgigATech首席执行官RonSartore先生如此评价:“在与华为将近三年的合作中,AgigATech与华为在引入NVDIMM技术到华为服务器以及存储产品的过程中保持了紧密的合作。在AgigATech成都研发中心对华为进行本地化技术支持的过程中,我们有幸第一时间看到华为海量存储OceanStor9000系列作为划时代的产品所能提供的前所未有的I/O性能,这足以应对未来繁重的工作负荷。我们将继续与华为保持紧密的合作伙伴关系,并对有机会将基于DDR4以及未来内存技术的NVDIMM产品更加广泛应用于华为产品而感到兴奋。”

责任编辑:刘翠

【慧聪资讯手机客户端下载

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处。非本网作品均来自互联网,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。

摄录编机顶盒三网融合百强企业更多>>

慧聪市场

一周话题人物 [人物关注排行榜]

[钱小韵] 技术发展叹为观止
运动会为广播电视设备提供了发展平台。3D、4K是为人服务的,只要有需求,技术将一路往前发展。 【详细
[李泽青] 助影视灯光走向国际化
文艺演出院线建设的提出,为影视照明提供了发展机遇,调动了行业积极性,促进行业稳定发展。 【详细
[王飚舵] 一云多屏服务用户
机顶盒来缺乏其他产业的支持,永新视博尝试凝结产业力量发展数字电视,在设计上提升用户体验。 【详细
资讯中心 产业研报 企业中心 人物中心 产品微门户

企业媒体关注榜

话题人物排行榜

1 李泽青 北京星光影视设备科技有限公司 总经理
李泽青
北京星光影视设备科技有限公司 总经理
2 章之俭 广电总局科技委 原高级顾
章之俭
广电总局科技委 原高级顾
3 白为民 中国电子视像行业协会 副会长
白为民
中国电子视像行业协会 副会长
4 黄升民 中国传媒大学广告学院 院长
黄升民
中国传媒大学广告学院 院长
5 许泉海 杭州万隆光电设备有限公司 董事长
许泉海
杭州万隆光电设备有限公司 董事长
6 钱小韵 北京正兴华泰数码影视有限公司 技术总监
钱小韵
北京正兴华泰数码影视有限公司 技术总监
7 杨知行 数字电视国家工程实验 董事长
杨知行
数字电视国家工程实验 董事长
8 陈晓辉 福建新大陆通信科技股份有限公司 总裁
陈晓辉
福建新大陆通信科技股份有限公司 总裁
9 卢志森 世纪睿科集团 总裁
卢志森
世纪睿科集团 总裁
10 洪晃 中国互动媒体集团 CEO
洪晃
中国互动媒体集团 CEO
收起

官方微信开通

扫一扫
关注广电动态