Spark内核源码深度分析 |
您所在的位置:网站首页 › spark内核源码使用什么语言开发 › Spark内核源码深度分析 |
Spark内核架构术语 • Application: 基于Spark的用户程序,包含了一个driver program 和 集群中多个的executor • Driver Program :运行Application的main()函数并且创建SparkContext,通常用SparkContext代表Driver Program。 • Cluster Manager: 在集群上获取资源的外部服务(例如:Standalone、Mesos、Yarn) • Worker Node: 集群中任何可以运行Application代码的节点 • Executor: 是为某Application运行在worker node上的一个进程,该进程负责运行Task,并且负责将数据存在内存或者磁盘上。每个Application都有各自独立的executors。 • Task: 被送到某个executor上的工作单元 • Job: 包含多个Task组成的并行计算,往往由Spark action催生,该术语可以经常在日志中看到。 • Stage: 每个Job会被拆分很多组task,每组任务被称为Stage,也可称TaskSet,该术语可以经常在日志中看到。 • RDD:Spark的基本计算单元,可以通过一系列算子进行操作(主要有Transformation和Action操作), • DAG Scheduler:根据Job构建基于Stage的DAG,并提交Stage给TaskScheduler,详见DAG Scheduler 细解。 • TaskScheduler:将Taskset提交给worker(集群)运行并回报结果,详见TaskScheduler 细解。 1.png Stage是什么 1.png |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |