Hadoop核心技术厂商Cloudera将在2014/06推出hadoop
Ecosystem与MongoDB的整合产品,用MongoDB与ipmala及hbase,hive一起用;开源linux领军企业RHEL也宣布RHEL将整合MongoDB用于简化用户账号管理与LDAP一起用;1,基于命令行的...
分类:
数据库 时间:
2014-05-12 11:45:03
阅读次数:
457
原谅我这个小白到现在才搭建好apache....之前都是无限次的 cd
mysite(第一个django project啊,就没变过= =),python manage.py
runserver然后我就可以在127.0.0.1:8000中访问了....我原以为ubuntu下的软件永远是sudo ap...
分类:
其他好文 时间:
2014-05-12 09:50:59
阅读次数:
478
搭建DNS负载均衡环境:1、至少三台的linux虚拟机,一台主的DNS服务器,1台副的(可以N台),1台测试机。负载均衡有很多种,apache那样的是为了缓解人们访问网站时给服务器造成太大的压力,所以就是你访问网站时,服务器你一下,我一下,他一下,大家轮流着干。2、DNS负载均衡原理:几台DNS服务...
分类:
其他好文 时间:
2014-05-12 08:05:23
阅读次数:
206
Hadoop Streaming 是一个工具, 代替编写Java的实现类,而利用可执行程序来完成map-reduce过程
工作流程 :
InputFile --> mappers --> [Partitioner] --> reducers -->
outputFiles
理解 :
1 输入文件,可以是指定远程文件系统内的文件夹下的 *
2 通过集群自己分解到各个PC...
分类:
编程语言 时间:
2014-05-11 14:46:35
阅读次数:
519
1 Lambda架构介绍
Lambda架构划分为三层,分别是批处理层,服务层,和加速层。最终实现的效果,可以使用下面的表达式来说明。
query = function(alldata)
1.1 批处理层
批处理层主用由Hadoop来实现,负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作,因此,当新数据到达时,使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算...
分类:
其他好文 时间:
2014-05-11 07:29:44
阅读次数:
419
Hadoop 资料虾皮系列教程。Sqoop 资料官方安装文档。浪迹天涯博客。……
分类:
其他好文 时间:
2014-05-11 01:07:23
阅读次数:
298
首先,来看怎么构造一个org.apache.hadoop.yarn.client.api.YarnClientclass
ClientHelper(conf: Configuration) extends Logging { val yarnClient =
YarnClient.createYa....
分类:
移动开发 时间:
2014-05-10 22:39:32
阅读次数:
656
Apache Directory Studio 是一个 LDAP 的工具平台,用来连接到任何
LDAP 服务器并进行管理和开发工作。主要功能:LDAP浏览器、LDIF编辑器、嵌入式ApacheDS、ACI编辑器。
分类:
其他好文 时间:
2014-05-10 19:29:56
阅读次数:
351
运行脚本,提交job往YARN提交Samza
job要使用run-job.sh这个脚本。samza-example/target/bin/run-job.sh
--config-factory=samza.config.factories.PropertiesConfigFactory --conf...
分类:
其他好文 时间:
2014-05-10 17:52:13
阅读次数:
609