码迷,mamicode.com
首页 > 编程语言 > 详细

python中的map&reduce

时间:2017-07-26 01:40:00      阅读:216      评论:0      收藏:0      [点我收藏+]

标签:超级   urlopen   lib   映射   pytho   div   reduce   map   res   

Map --映射

Reduce -- 归纳

将大数据标准化的处理

Map 拆封任务,Reduce将结果合并

这样是不是能够将很多计算机组成一台超级计算机呢?

一些问题:如果任务本身就很复杂,那么拆解任务本身就是一个很打的难题。

python 在2.6 的时候 增加了 map reduce函数

例如我们可以这样写

import urllib2
urls = [
    ‘https://www.baidu.com‘,
    ‘http://www.douban.com‘
]

resurt = map(urllib2.urlopen,urls)

#等价于

resurt = []
for url in urls:
    resurt.append(urllib2.urlopen(url))

 

python中的map&reduce

标签:超级   urlopen   lib   映射   pytho   div   reduce   map   res   

原文地址:http://www.cnblogs.com/nerdlerss/p/7237104.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!