调度平台找不到CDH的Spark客户端 |
您所在的位置：网站首页 › sparksql和hiveonspark › 调度平台找不到CDH的Spark客户端 |
|
调度平台找不到CDH的Spark客户端
原创
江南独孤客 2023-04-20 23:11:25 博主文章分类：大数据篇 ©著作权 文章标签 spark 客户端 hive 文章分类 Spark 大数据 ©著作权归作者所有：来自51CTO博客作者江南独孤客的原创作品，请联系作者获取转载授权，否则将追究法律责任 一.背景:因为公司使用的调度平台是没有加入到CDH集群,所以只复制了/opt/cdh下的所有文件到调度平台的work节点,公司的平台一直使用的是MR引擎为调度,上周接到一个项目,必须跑spark,调度平台执行了以后报错找不到hive on spark找不到spark的客户端. FAILED: Execution Error,return code 30041 from org.apache.hadoophive,gl.exec,spark.Sparktask, Failed to create Spark client 9d-ad23-19ac3d31e4ec_0: java,lang.ClassNotFoundException: org.apache.spark.network,util.ByteUnit二.解决方案:1.在客户端的机器上执行spark-shell命令,报无此命令 2.打开profile文件 vim /etc/profile 3.设置spark客户端配置路径和bin 4.souce /etc/profile 5.重新提交spark任务问题解决 知识点. 出现此类问题的主要原因是因为我在观察使用hue执行的时候,是可以执行成功的. 然后在调度上执行不成功,主要就是因为没有配置spark的客户端导致的. 打赏 赞 收藏 评论 分享 举报上一篇：Starrocks在建查hive外表时报EOFException: End of file reached before reading fully |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |