Map-Reduce本身并不是算法;而是一种处理模式;因为在大数据分布式这种场景下,处理数据运算和单机版不同;需要协同多台机器,并行计算;于是有了map-reduce这种模式,map阶段是数据处理,在各个机器上面进行并行计算,可以算作是对于数据的一个过滤+计算过程,对于需要计算的数据进行收集(map ...
分类:
其他好文 时间:
2018-07-06 22:33:37
阅读次数:
199
MySQL 数据库常用命令小结 MySQL 数据库常用命令 1、MySQL常用命令 create database name; 创建数据库 use databasename; 选择数据库 drop database name 直接删除数据库,不提醒 show tables; 显示表 describe ...
分类:
数据库 时间:
2018-07-06 22:25:11
阅读次数:
221
# json是一个字符串,长得像是字典 import json #把json转换成字典 user_info='''{"nhy":"1234567","lxy":"12345"}'''user_dic=json.loads(user_info) #loads方法把json转换成字典print(user ...
分类:
Web程序 时间:
2018-07-06 01:34:20
阅读次数:
169
1.1 安装vim 终端输入命令安装 centos下安装vim: yum install vim Ubuntu下安装vim:sudo apt-get install vim 终端输入命令安装 centos下安装vim: yum install vim Ubuntu下安装vim:sudo apt-ge ...
分类:
系统相关 时间:
2018-07-05 23:26:51
阅读次数:
212
bash: python: 使用collections模块 或 ...
分类:
编程语言 时间:
2018-07-05 19:50:48
阅读次数:
166
DHCP中继代理作用:帮助DHCP广播逾越到不同的vlan中,使在不同vlan中的主机自动获得自己网段的IP地址。 实验环境如下图所示,使C1和C2能够自动获取IP地址,并能访问DHCP服务器,具体操作如下所示。实验拓扑图思路如下sw交换机:添加vlan 10, 20 ,30 将f1/0 ,f1/1 , f1/2 分别添加到vlan. F1/3作truk.R1三层交换机:添加vlan 1
分类:
其他好文 时间:
2018-07-05 00:33:29
阅读次数:
193
Python语言是一款对缩进非常敏感的语言,给很多初学者带来了困惑,即便是很有经验的Python程序员,也可能陷入陷阱当中。最常见的情况是tab和空格的混用会导致错误,或者缩进不对,而这是用肉眼无法分别的。 在编译时会出现这样的错IndentationError:expected an indent ...
分类:
编程语言 时间:
2018-07-02 18:17:38
阅读次数:
189
#文件操作 sample(序列a,n) #从序列a中随机抽取n个元素,并将n个元素以list形式返回','.join() #以某个指定的分隔符将list变成字符串import string,randomf=open('email.txt','w')for i in range(10): u=''.j ...
分类:
其他好文 时间:
2018-06-30 22:56:18
阅读次数:
193
对偶 对偶原理:有两个定理(或命题),如果一个定理中的所有元素和运算替换为对应的对偶元素的就成为另一个定理时,这两个定理是相互对偶的。两个相互对偶的定理,如果其中一个定理真实,则另一个必然真实。数学上可以证明它的正确性。所以“对偶“在数学中,指某些成对的概念,从它们本身的含义看是很不相同的。但从某种抽象规律或性质去看,不仅是一一对应的而且可以说是完全一致。如果能够根据某种规律或性质,证得
分类:
其他好文 时间:
2018-06-27 14:58:41
阅读次数:
169
添加kafka1.下载kafka包http://archive.cloudera.com/kafka/parcels/latest/把包放到parcel-repo目录2.下载csd包http://archive.cloudera.com/csds/kafka/放到csd目录3.分配kafka包并激活注意:如果进度卡在“已解压”,直接返回重新进来就会看到“激活”4添加kafka角色.默认选项即可安装
分类:
其他好文 时间:
2018-06-27 12:16:12
阅读次数:
145