spark-submit 用户打包 Spark 应用程序并部署到 Spark 支持的集群管理气上，命令语法如下：

app arguments 是传递给应用程序的参数，常用的命令行参数如下所示：

–master: 设置主节点 URL 的参数。支持：

local： 本地机器。

spark://host:port：远程 Spark 单机集群。

yarn：yarn 集群

–deploy-mode：允许选择是否在本地（使用 client 选项）启动 Spark 驱动程序，或者在集群内（使用 cluster 选项）的其中一台工作机器上启动。默认值是 client。

–name：应用程序名称，也可在程序内设置。

–py-files：.py, .egg 或者 .zip 文件的逗号分隔列表，包括 Python 应用程序。这些文件将分发给每个执行节点。

–files：逗号分隔的文件列表，这些文件将分发给每个执行节点。

–conf：动态地改变应用程序的配置。

–driver-memory：指定应用程序在驱动节点上分配多少内存的参数，类似与 10000M， 2G。默认值是 1024M。

–executor-memory：指定每个执行节点上为应用程序分配的内存，默认 1G。

–num-executors：指定执行器节点数。

–help：展示帮助信息和退出。

以下均是在 yarn 集群提交的任务。

1、默认设置: 会将所有日志和系统输出结果输出到 spark-submit 的 client 上

code1.py

2、设置 Executor 的日志级别，Executor 执行的细节（WARN 以下级别的日志）不会输出到 client 中

code2.py

3、使用 cluster 模式

–deploy-mode 可选 cluster 或 client，cluster 模式下，在 spark-submit 的 client 服务器上不会输出日志和系统输出，仅输出如下语句。只能在 Hadoop 集群上才能看到执行细节和输出

4、自定义依赖的模块或读取文件

code3.py

code4.py

file1.txt

自定义的 package 可以打包成 egg 文件上传(该部分代码参考 《PySpark 实战》P:178)。例如有一个自定义创建的 package：

创建一个 egg 文件：

生成了 dist 文件夹下的 PySparkUtilities-0.1.dev0-py3.6.egg 文件

提交作业：

5、配置集群资源

当执行的 job 需要更多资源时，可以自定义配置使用的资源。

或在程序内设置

code5.py

6、使用 Python 虚拟环境

当使用 cluster 或应用某些第三方包的时候，在 Executor 中会出现 ImportError 的错误，导致 job 执行失败，如下提交方式会报错：

报错信息：

这是由于节点中的 python 环境没有安装相应的依赖包，此时需要创建一个 python 虚拟环境并安装所有的依赖包。

创建虚拟环境 python-env，打包为 venv.zip：

venv.zip 部分目录结构如下所示：

spark-submit 命令：

code6.py

非常没帮助