作者：Grey

原文地址：

博客园：Linux 下搭建 Hadoop 环境

CSDN：Linux 下搭建 Hadoop 环境

操作系统：CentOS 7

下载地址

安装说明

需要准备两个节点，一个是 master 节点，另一个是 slave 节点。

其中 master 节点的 IP：192.168.100.130

slave 节点的 IP：192.168.100.131

并且参考Linux 下配置 hosts 并设置免密登录先配置好两个 免密登录。

JDK 版本：8u181

下载地址

Hadoop 版本：2.7.5

下载地址

如果使用的软件版本不一致，请遵循官方文档。

If the version of the software used is inconsistent, please follow the official documentation.

准备软件目录

上传之前下载好的安装包到 /datalake 目录下

jdk-8u181-linux-x64.gz

hadoop-2.7.5.tar.gz

批量解压这几个安装包

将解压的软件移动到 /usr/local 目录

配置环境变量

添加如下内容

应用环境变量

关闭防火墙，在 master 和 slave 下分别执行

以下的配置，在 master 和 slave 上 都要做

在 节点之间添加如下内容

配置 hadoop 使用的 jdk，执行

将 jdk 配置为

在 节点之间添加如下内容

执行

然后执行

在 节点之间添加如下内容

执行

替换为如下内容

在 master 上把 hadoop 的上述配置文件改好以后，可以执行

将配置拷贝到 slave，就无需在 slave 上做同样繁琐的配置操作了。

然后，在 master 节点上进行格式化，执行

最后，在 master 上启动 hadoop

启动成功后，在 master 和 slave 上分别执行 jps，可以看到 hadoop 相关的进程已经正常启动

master 上

slave 上

在浏览器上访问 : http://192.168.100.130:50070/

正常显示

然后在 master 上启动 yarn，执行

输出如下日志，未报错

浏览器访问：http://192.168.100.130:8088/

正常显示相关信息

Original: https://www.cnblogs.com/greyzeng/p/16801638.htmlAuthor: Grey ZengTitle: Linux 下搭建 Hadoop 环境

Shapely-用于操纵和分析笛卡尔平面中的几何对象的库。Fiona -Python编写的GIS数据IORasterio-用于读取和写入地理空间栅格数据的库）GeoPandas-用于地理数据的Python工具Pyproj -PROJ4库的python接口以进行制图转换Rtree – libspatialindex的包装，提供Python GIS的空间索引功能。OSMnx -Python软件包，可让您下载空间几何图形并从OpenStreetMap的API中构建，投影，可视化和分析街道网络。SuperMap iClient Python -SuperMap支持的Cloud GIS客户端Python SDK。GeoDjango -Django地理网络框架。Landsat-util -Landsat-util是一个命令行实用程序，可轻松搜索，下载和处理Landsat图像。Rasterstats-用于基于矢量几何汇总地理空间栅格数据集的Python模块。ArcGIS Python API -ArcGIS API for Python是一个Python库，用于处理由Web GIS提供支持的地图和地理空间数据。PyQGIS-适用于QGIS的Python。pandana -Pandas Network Analysis-网络查询数据帧，快速。xarray -xarray（以前的xray）是一个开源项目和Python软件包，旨在通过提供N维熊猫核心数据结构的变体，将熊猫的标记数据能力带入物理科学。mapboxgl-jupyter-使用Mapbox GL JS可视化Python Jupyter笔记本中的数据。Cartopy-一个提供用于python绘制空间数据的制图工具的库。geoalchemy-将SQLAlchemy与空间数据库配合使用。NodeBox-opengl-用于播放动画。Statsmodels -Python模块，允许用户浏览数据，估计统计模型和执行统计测试。NumPy -NumPy是使用Python进行科学计算的基本软件包。geopy -geopy是Python 2和3客户端，用于几种流行的地理编码Web服务。FreeType-用于将字体字形转换为多边形。matplotlib -Python 2D绘图库。networkx-与网络一起使用。PySAL-满足您所有的空间计量经济学需求。笛卡尔-在matplotlib中绘制几何图形。PyShp-用于读取和写入shapefile。Pyncf-纯Python NetCDF文件读写。chupaESRI -ChupaESRI是一个Python模块/命令行工具，用于从ArcGIS Server地图服务中提取要素。geojsonio.py-通过Python在geojson.io上打开GeoJSON数据。geojsonio.py还包含一个命令行实用程序，它是geojsonio-cli的Python端口。Ogcserver-使用Mapnik的Python WMS实现。RSGISLib- 遥感和GIS软件库（RSGISLib）是用于处理遥感和GIS数据集的工具的集合。使用Python绑定或XML接口可以访问这些工具。Scikit图像-Scikit图像是图像处理算法的集合。pyWPS-开放地理空间联盟的Web处理服务标准的实现。PyWPS用Python编写。它可以通过WPS标准来集成，发布和执行Python进程。pyCSW-完全实现OpenGIS目录服务实施规范（Web的目录服务）。最初的开发始于2010年（2011年正式宣布）。该项目已通过OGC认证，是OGC参考实施。urbansim – UrbanSim的新版本，该模型用于模拟大都市房地产市场。OSMnet-提取OpenStreetMap街道网络数据的工具。rio- hist-光栅的直方图匹配插件。rio- color-用于rasterio的颜色校正插件。geojson-area-计算任何GeoJSON几何形状内的面积。这是Mapbox用于Python的geojson-area的端口。Peartree -Peartree：用于将运输数据转换为有向图以进行网络分析的库。GeoDaSpace-用于高级空间计量经济学的软件。Mahotas -Mahotas是在numpy数组上运行的快速计算机视觉算法（均以C ++实施以提高速度）的库。Mahotas-imread-将图像读取到numpy数组。dask-rasterio-使用Rasterio和Dask并行读写栅格。geeup-用于地球引擎上传的简单CLI。Verde -Verde是一个Python库，用于处理空间数据（测深法，地球物理勘测等）并将其插值到规则网格（即网格化）上。gpdvega -gpdvega是GeoPandas和Altair之间的桥梁，可以无缝地绘制地理空间数据。LANDSAT下载-从USGS网站自动下载LANDSAT数据。USGS API -USGS是用于与美国地质调查局API接口的python模块。som-tsp-使用自组织地图解决旅行商问题。质心-此应用程序读取有效的geojson FeatureCollection并返回质心的有效geojson FeatureColleciton。sentinelsat-搜索并下载哥白尼前哨卫星图像。PyPostal -Python绑定到libpostal，以进行快速的国际地址解析/标准化。python-opencage- geocoder-使用OpenCage地理编码API的Python模块。rio-tiler-从Landat，哨兵或其他AWS托管栅格获取墨卡托磁贴。rio-cogeo-用于rasterio的CloudOptimized GeoTIFF创建插件。GIPPY-用于Python的地理空间图像处理。ts-raster -ts-raster是一个python软件包，用于分析栅格数据中的时间序列特征。它允许特征提取，降维以及将机器学习技术应用于地理空间数据。LT-ChangeDB-用于从LandTrendr数据中提取光谱变化信息到地理数据库的脚本。pymap3d-地理空间ecef enu eci的Python 3D坐标转换。YATSM-另一个时间序列模型（YATSM）是一个Python软件包，用于利用一系列时间序列算法和方法，这些算法和方法旨在使用遥感图像监控陆地表面。tiller-将图像拼接成更大的复合TIF。pyroSAR-用于大规模SAR卫星数据处理的Python框架。RIOS-栅格I / O简化。一组python模块，可轻松用Python编写栅格处理代码。thunder（Thunder）-Thunder是一个工具生态系统，用于分析Python中的图像和时间序列数据。eo-box-用于Python机器学习的地球观测处理框架。lidar-使用数字高程模型（DEM）进行地形和水文分析。whitebox – WhiteboxTools的Python前端。WhiteboxTools-ArcGIS-用于WhiteboxTools的ArcGIS Python工具箱。landsat-extract-gee-从Google Earth引擎获取Landsat表面反射率时间序列。pygeoapi -OGC API标准套件的Python服务器实现。pyGEOS-将GEOS函数公开到Python中。Geopatra-使用geopandas创建交互式地图MovingPandas-基于GeoPandas构建的轨迹类和功能的实现。terracotta-轻巧的多功能XYZ瓷砖服务器，由Flask和Rasterio构建。BlenderGIS-一个Blender插件，可在Blender与地理数据之间架起桥梁。morecantile-构建和使用地图图块网格（又名TileMatrixSet / TMS）。xarray-spatial -Python中基于栅格的空间分析。felicette-假人的卫星图像。geemap-一个Python软件包，用于与Google Earth Engine，ipyleaflet和ipywidgets进行交互式映射。pydeck -Python中的大规模空间渲染，由deck.gl支持。Lets- Plot-一种ggplot2样式的开源绘图库，支持GeoPandas，交互式地图和地理编码。WaterDetect-生成开放水域遮罩的端到端算法。geoserver-rest -geoserver-rest软件包对于管理GeoServer中的地理空间数据很有用。该软件包对于创建，更新和删除geoserver工作区，存储，图层和样式文件很有用。OWSLib：OWSLib是一个Python软件包，用于使用开放地理空间联盟（OGC）Web服务（因此称为OWS）接口标准及其相关内容模型进行客户端编程。geobeam -geobeam将GIS功能添加到Apache Beam和Dataflow管道中。

Original: https://blog.csdn.net/sinat_36819507/article/details/123557043Author: rayson2018Title: 2022Python地理信息处理开源库

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/363271/

转载文章受原作者版权保护。转载请注明原作者出处！