02

实现无缝对接！

杉岩数据推出HDFS网关服务端组件

针对这一需求，杉岩数据研发推出了HDFS网关服务端组件，进一步简化对接部署过程。HDFS网关实现了原生HDFS协议，可收发原生HDFS协议的请求，计算节点通过Hadoop环境自带的原生HDFS-Client即可访问存储系统，无需额外安装专用客户端。

图2 杉岩湖仓一体方案存算分离实现（服务端模式）

方案优势

原生HDFS协议，兼容性良好：HDFS网关支持几乎所有的HDFS数据面接口，可对接市场上常见的大数据平台。

无缝对接，简化对接部署过程：通过原生HDFS协议直接访问存储系统，无需在计算层安装专用客户端。计算组件升级、替换时，无需考虑客户端配置，减少运维工作量。

高数据吞吐能力，无单点故障：通过杉岩云原生文件存储对HDFS网关的数据处理卸载能力，大大降低了HDFS网关的数据处理开销，提升了整体的数据吞吐能力，并结合LVS实现了对HDFS网关的去中心化、水平扩展。

性能测试

LVS只处理HDFS NameNode的元数据相关RPC，实际占大部分网络带宽的数据读写是DataNode角色的block读写流量，不通过LVS，而由HDFS Gateway通过NameNode RPC返回自身节点的IP，HDFS-Client直接和各HDFS Gateway通讯。所以LVS不会成为大数据读写的瓶颈，如下图所示：

图3 通过LVS访问HDFS网关的交互

以下是在3节点存储加3节点Hadoop集群环境，通过TestDFSIO读写9个30G文件的对比测试结果，可见HDFS网关对存储系统带宽影响较小。但HDFS网关的增加会使IO路径长度多一跳，对存储网络带宽需求增加，规划存储网络时应考虑这一点。

图4 存算分离场景杉岩CNFS直通和通过HDFS网关带宽测试

值得一提的是，有些计算层组件可能针对HDFS做特别的优化，例如Hbase就实现了自己的异步HDFS-Client，此情况下使用HDFS网关可以继续使用计算侧的特别优化，能获得更好的性能。

03

总结

随着5G和IoT的快速发展，数据激增，企业级大数据平台建设逐渐深入，基于存算分离架构，计算承接丰富的应用接入需求，存储提供成熟稳定的底座支撑业务发展和生态对接是大势所趋。

上述内容体现了杉岩云原生文件存储在Hadoop大数据存算分离场景中的优势，杉岩数据推出HDFS网关服务端组件，通过原生HDFS协议直接访问存储系统，简化了对接部署过程，为用户提供了更多的选择，使基于杉岩大数据智能存储为基座的湖仓一体方案更加完善。返回搜狐，查看更多