impala与hive的区别

您所在的位置:网站首页 impala原理用的内存 impala与hive的区别

impala与hive的区别

2024-07-12 07:46| 来源: 网络整理| 查看: 265

从功能性的角度来看,impala与hive的主要区别在于响应时间。 对于同一个查询语句,impala能够更快的给出查询结果。impala是如何实现的呢? 主要是从三个角度来实现。 1.执行计划 impala没有采用mapreduce执行框架,它将执行计划表现为执行计划树,可以分发执行计划到各个impalad,避免了中间的sort和shuffle。 2.数据流 impala采用拉的方式。表现形式,可以看作执行查询语句,不会出现所有的查询结果。在当前查询结果的基础上继续查询时,才能有新的结果出现。 3.内存使用 hive在内存不够时,可使用外存。而impala则会返回错误。

由以上特点来看,impala的缺点也很明显: 1.impala不支持分桶,cluster by, distribute by ,sort by 。本质原因就是因为impala不使用mapreduce 2.impala不适用于数据大批量的处理转化,因为数据过大会返回错误。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3