标签：
wget是linux/unix下通常使用的下载http/ftp的数据，使用非常方便，其实wget目前经过编译，也可在windows下使用。最近需要下载大量的遥感数据，使用了python写了批处理下载程序，使用的是urllib的urlretrieve进行下载，数据下载还可以，但是界面交互性不好看。就根据自己在linux下载数据进行了改进。
1. wget在windows下的安装：
从网站下载wget for windows工具（http://gnuwin32.sourceforge.net/packages/wget.htm），解压后将wget.exe拷贝至system32下，然后从cmd中键入wget，安装成功提示如下：
2. python批处理脚本下载
下载的大量遥感水色数据来自于NASA OBPG网站（http://oceandata.sci.gsfc.nasa.gov），根据Order之后的数据列表，保存至txt，之后构建下载网址及字符串；而后使用suprocess.call进行下载。
代码如下：
#http://oceandata.sci.gsfc.nasa.gov/cgi/getfile/A2005067190000.L0_LAC.bz2 #!/usr/bin/env python #coding:utf-8 import os import os.path import subprocess def retrieving_obpg(filelist,outpath): ‘‘‘Download data‘‘‘ f = open(filelist,‘r‘) log= open(os.path.splitext(filelist)[0]+‘_log.txt‘,‘w‘) os.chdir(outpath) print(os.curdir) for i in f: try: each_item = str(i.strip()) cmd = ‘wget http://oceandata.sci.gsfc.nasa.gov/cgi/getfile/‘+each_item print(cmd) if not os.path.exists(outpath+each_item): status = subprocess.call(cmd) if status !=0: log.write(‘\nFailed:‘+each_item) continue log.write(‘\nSuccess:‘+each_item) log.flush() except: log.write(‘\nFailed:‘+each_item) continue f.close() log.close() if __name__ ==‘__main__‘: import glob outpath = ‘F:\\卫星数据\\MODIS\\‘ for filelist in glob.glob(r‘F:\卫星数据\MODIS\filelists\*m2s.txt‘): retrieving_obpg(filelist,outpath) print(‘END‘)
标签：
原文地址：http://www.cnblogs.com/ahnucao/p/5068978.html
