关于批量下载MODIS数据的坑

您所在的位置:网站首页 earthdata账号怎么登录 关于批量下载MODIS数据的坑

关于批量下载MODIS数据的坑

2023-08-30 04:55| 来源: 网络整理| 查看: 265

关于批量下载MODIS数据的坑与正确姿势 1. 第一个坑 1.1 Ladsweb的坑

由于之前做项目的时候去Ladsweb官网下载数据的时候还好好的,于是经过被批评改正之后回来就信心满满地去Ladsweb下数据了,于是。 这是打开Ladsweb之后的正常操作,可能被爬的太狠了,于是鄙人考虑是封了这边的人登陆,于是鄙人请那边的人用那边的网登陆那边的网络,结果是同样的操作,emmmm那么就不用想了,网炸了。中间其实还有选择之后选不出条带的情况或者选完了还爆error的情况我就不放图了。红色不大好。

1.2 NASA search不友好

为啥那么说呢,第一个是因为这个Bad Gateway守门员,第二个就是如果批量下载数据的话你需要一个earthdata的账户,嗯,虽然许多blog都说需要gmail或者Facebook但经过同僚与我的验证,其实只要能科学上网就OK了,主要是有个人机交互界面,如果没有科学上网就会注册不了。

2. 第二个坑

如果历尽千幸万险之后Get到了订单之后,后面处理的效率还是挺高的,不像之前去气象网下数据,2个txt处理了半个小时,然后数据还只有6组数据能用,但是要下下来就没有那么舒服了,如果你有足够的耐心的话可以手动点,之前下载10年数据的时候不懂事就10个慢慢点,但是这次10年的数据需要大概300多个数据,每个数据200多M所以单点就不合适了。于是鄙人开始了踩雷之旅。

2.1 IDM

什么是 IDM 呢,全称是(Internet Download Manager),类似爬虫爬数据再自己选择需要的数据下载。 在这里插入图片描述 这个是IDM下载的官网,全英虽可还行但是下面可能就不太舒服了。 在这里插入图片描述 嗯,下载之后只是试用,如果想try的话还是要支援下作者,毕竟智力劳动毕竟辛苦。 那么也附上IDM下载链接吧! link.http://www.internetdownloadmanager.com/ 下完之后有傻瓜式的操作让你配谷歌的拓展工具,当然你也可以用别人blog里的方法来配置,这里就不再多叙述了。 当你信心满满地爬到链接数据的时候,你却发现。 在这里插入图片描述 没错,因为这个插件还是需要上NASA的官网,所以还是会error,那么照样得GG。所以两位斗士放弃了这种choice.

3 第三个坑 3.1 pyhton结合wget方法下载

如果有Arcgis的话自带python2.7所以下载的时候要注意配环境,至于配环境,移步另外blog。 在NASA download script里有一个python 脚本,下载下来,这个只是部分截图,但是下载下来是.txt需要改后缀名为.py 在这里插入图片描述 用这个script之前你需要下载wget,由于是用mac电脑下的,为不闲麻烦就用homebrew再 brew了wget,比较方便,外面的帖子都是挺成熟的,只要去看就行。NASA官网有代码有三个参数要改。只要看看,然鹅鄙人尝试了半天就给我报错。

wget -e robots=off -m -np -R .html,.tmp -nH --cut-dirs=3 "https://ladsweb.modaps.eosdis.nasa.gov/archive/orders/501383976/" --header "B75F2548-F310-11E9-9BEB-C905D05A9C21" -P /Users/dadadadahuang/Desktop/modis

前面是一些附加的改正参数。在邮箱里或者官网都给解释了。在这里插入图片描述 对照下前面参数就行,dir=3后面有3个要改正的,第一个是下载的链接,这个在发给你的信息里有。第二个是一个appKey,这个在NASA里生成,第三个是你要放置文件的地址。 在cmd或者终端输入。然而鄙人还没成功,还需要尝试。在这里插入图片描述 以后成功再写blog。已经成功了,详情请看我后面的博客 利用python批量下载MODIS数据

4. Downthemall的坑

后来看到blog就想用firefox的这个插件,一开始看到下图 在这里插入图片描述 很开心,终于要成功了,然鹅,看这个数据量,154B后面,不用想知道有问题了,于是在Modis Tool里放入想重投影于世。在这里插入图片描述 之后这堆文件就静静地躺在鄙人的回收站里里。 对了downthemall这个插件只要在firefox的插件里搜索一下即可下载了

5. 最后成功

在这里插入图片描述

这堆数据还在下,等着上课就让它去跑就ok了,至于如何下载的话需要看我同僚的blog,利用earthdata和downthemall,链接的话。

传送门: https://blog.csdn.net/weixin_43010839/article/details/102653105 .替他推销下,顺便也安慰下为批量下载奋斗一天的两个斗士。 后期批量重投影和重采样等成功了也会有blog记录的。天黑了,该休息了。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3