Apache Spark |
您所在的位置：网站首页 › apache中国官网 › Apache Spark |
|
Apache Spark - 下载安装和环境设置
❮ 上一节
下一节 ❯
Spark 是 Hadoop 的子项目。 因此，最好将 Spark 安装到基于 Linux 的系统中。 以下步骤显示了如何安装 Apache Spark。 官网下载 Apache Spark您可以从官方网站下 Apache Spark 的最新稳定版本。 官网地址：https://spark.apache.org/ 步骤 1: 验证 Java 安装Java 安装是安装 Spark 的必备事项之一。 尝试以下命令来验证 JAVA 版本。 $java -version如果 Java 已经安装在您的系统上，您会看到以下响应 − java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)如果您的系统上没有安装 Java，请在继续下一步之前安装 Java。 步骤 2: 验证 Scala 安装您应该使用 Scala 语言来实现 Spark。 因此，让我们使用以下命令验证 Scala 安装。 $scala -version如果您的系统上已经安装了 Scala，您会看到以下响应 − Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL如果您的系统上没有安装 Scala，请继续下一步安装 Scala。 步骤 3: 下载 Scala通过访问以下链接 Download Scala 下载最新版本的 Scala。 对于本教程，我们使用的是 scala-2.11.6 版本。 下载后，您将在下载文件夹中找到 Scala tar 文件。 步骤 4: 安装 Scala按照以下给出的步骤安装 Scala。 解压 Scala tar 文件键入以下命令以提取 Scala tar 文件。 $ tar xvf scala-2.11.6.tgz 移动 Scala 软件文件使用以下命令将 Scala 软件文件移动到相应的目录 (/usr/local/scala)。 $ su – Password: # cd /home/Hadoop/Downloads/ # mv scala-2.11.6 /usr/local/scala # exit 为 Scala 设置 PATH使用以下命令为 Scala 设置 PATH。 $ export PATH = $PATH:/usr/local/scala/bin 验证 Scala 安装安装后最好验证一下。 使用以下命令验证 Scala 安装。 $scala -version如果您的系统上已经安装了 Scala，您会看到以下响应 − Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL 步骤 5: 下载 Apache Spark通过访问以下链接 Download Spark 下载最新版本的 Spark。 对于本教程，我们使用的是 spark-1.3.1-bin-hadoop2.6 版本。 下载后，您将在下载文件夹中找到 Spark tar 文件。 步骤 6: 安装 Spark按照下面给出的步骤安装 Spark。 提取 Spark 焦油以下命令用于解压 spark tar 文件。 $ tar xvf spark-1.3.1-bin-hadoop2.6.tgz 移动 Spark 软件文件以下命令用于将 Spark 软件文件移动到相应目录 (/usr/local/spark)。 $ su – Password: # cd /home/Hadoop/Downloads/ # mv spark-1.3.1-bin-hadoop2.6 /usr/local/spark # exit 为 Spark 设置环境将以下行添加到 ~/.bashrc 文件中。 这意味着将 spark 软件文件所在的位置添加到 PATH 变量中。 export PATH=$PATH:/usr/local/spark/bin使用以下命令获取 ~/.bashrc 文件。 $ source ~/.bashrc 步骤 7: 验证 Spark 安装编写以下命令来打开 Spark shell。 $spark-shell如果 spark 安装成功，那么你会发现以下输出。 Spark assembly has been built with Hive, including Datanucleus jars on classpath Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 15/06/04 15:25:22 INFO SecurityManager: Changing view acls to: hadoop 15/06/04 15:25:22 INFO SecurityManager: Changing modify acls to: hadoop 15/06/04 15:25:22 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(hadoop); users with modify permissions: Set(hadoop) 15/06/04 15:25:22 INFO HttpServer: Starting HTTP Server 15/06/04 15:25:23 INFO Utils: Successfully started service 'HTTP class server' on port 43292. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 1.4.0 /_/ Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_71) Type in expressions to have them evaluated. Spark context available as sc scala> ❮ 上一节 下一节 ❯ |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |