大数据调度平台oozie、azkaban、dolphinscheduler对比 |
您所在的位置：网站首页 › 调度工具对比图 › 大数据调度平台oozie、azkaban、dolphinscheduler对比 |
大数据调度平台oozie、azkaban、dolphinscheduler对比
|
大数据调度平台目前多样化，如何选择适合自己公司得调度平台，老姜给大家罗列三种调度平台性能对比。 DolphinSchedulerAzkabanOozie定位解决数据处理流程中错综复杂的依赖关系为了解决Hadoop的任务依赖关系问题管理Hdoop作业（job）的工作流程调度管理系统任务类型支持支持传统的shell任务，同时支持大数据平台任务调度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、sub_processcommand、HadoopShell、Java、HadoopJava、Pig、Hive等，支持插件式扩展统一调度hadoop系统中常见的mr任务启动、Java MR、Streaming MR、Pig、Hive、Sqoop、Spark、Shell等可视化流程定义所有流、定时操作都是可视化的，通过拖拽来绘制DAG,配置数据源及资源，同时对于第三方系统，提供api方式的操作。通过自定义DSL绘制DAG并打包上传配置相关的调度任务复杂，依赖关系、时间触发、事件触发使用xml语言进行表达任务监控支持任务状态、任务类型、重试次数、任务运行机器、可视化变量，以及任务流执行日志只能看到任务状态任务状态、任务类型、任务运行机器、创建时间、启动时间、完成时间等。暂停/恢复/补数支持暂停、恢复 补数操作只能先将工作流杀死在重新运行支持启动/停止/暂停/恢复/重新运行：支持启动/停止/暂停/恢复/重新运行：Oozie支持Web，RestApi，Java API操作高可用支持支持HA，去中心化的多Master和多Worker通过DB支持HA，-但Web Server存在单点故障风险通过DB支持HA多租户支持dolphinscheduler上的用户可以通过租户和hadoop用户实现多对一或一对一的映射关系。无法做到细节的权限管控。––过载处理能力任务队列机制，单个机器上可调度的任务数量可以灵活配置，当任务过多时会缓存在任务队列中，不会操作机器卡死任务太多时会卡死服务器调度任务时可能出现死锁集群扩展支持调度器使用分布式调度，整体的调度能力会随集群的规模线性正常，Master和Worker支持动态上下线，可以自由进行配置只Executor水平扩展参照集群标准文件管理支持，可视化管理文件，及相关udf函数等。––邮件报警支持支持支持权限把控可以通过对用户进行资源、项目、数据源的访问授权––版本更新迭代持续发展中，升级不会影响当前集群，升级方式操作简单——依赖当前集群版本，如更新最新版，易于现阶段集群不兼容个人比较支持小海豚调度，目前在使用级别缺点就是对权限把控还没有落实到位。 有关调度平台可以进行探讨 关注老姜 哔哩账号：老姜的数据江湖 微信公众号：老姜的数据江湖 |
【本文地址】