现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0
集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可。系统版本:master:Ubuntu
12....
分类:
其他好文 时间:
2014-06-10 22:01:07
阅读次数:
423
介绍:就是想实现简单的ajax上传数据,但是当数据量较大的时候,问题就一个一个接着来了,其实数据也不是很大,就是csv格式数据
不到5w条数据。大小5M,一开始认为这个很简单,就是先上传一下文件,然后读取一下,存到数据库就好了,结果,可能我比较菜,弄了半天做出这个功能。环境是linux.遇到的问题就...
分类:
其他好文 时间:
2014-06-10 21:04:08
阅读次数:
266
大数据处理及其研究进展,内容比较通俗易懂,结构比较清晰...
分类:
其他好文 时间:
2014-06-10 18:11:45
阅读次数:
389
随着出版物电子排版方式的普及,大部头出版物的排版,越来越多的应用在人们的工作中。例如,惠普公司的打印机销往世界各地几百个国家,打印机使用手册至少需要出版100多种语言,印出的手册摞起来有1人多高。另外,波音飞机和大众汽车等公司的产品装配手册和使用手册也都是如此,都是上千页甚至是上万页的大数据排版。对于这种大部头出版物的排版,传统的方法非常繁琐且容易出错。...
分类:
其他好文 时间:
2014-06-10 17:31:45
阅读次数:
188
1.准备工作jdk:eclipse:Maven:libprotoc
:https://developers.google.com/protocol-buffers/hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/添加开源中国mave...
分类:
系统相关 时间:
2014-06-10 17:07:37
阅读次数:
356
1:Spark1.0.0属性配置方式
Spark属性提供了大部分应用程序的控制项,并且可以单独为每个应用程序进行配置。
在Spark1.0.0提供了3种方式的属性配置:
SparkConf方式
SparkConf方式可以直接将属性值传递到SparkContext;SparkConf可以对某些通用属性直接配置,如master使用setMaster,...
分类:
其他好文 时间:
2014-06-10 14:47:43
阅读次数:
280
hadoop上进行kmeans聚类,一次迭代只使用一个mapreduce...
分类:
其他好文 时间:
2014-06-10 14:01:32
阅读次数:
236
Sql server 大数据量插入速度慢或丢失数据解决办法...
分类:
数据库 时间:
2014-06-10 13:58:17
阅读次数:
286
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成:Namenode管理文件系统的元数据,而Datanode存储
了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上,客户端联系Name...
分类:
其他好文 时间:
2014-06-10 12:40:13
阅读次数:
275
随着出版物电子排版方式的普及,大部头出版物的排版,越来越多的应用在人们的工作中。例如,惠普公司的打印机销往世界各地几百个国家,打印机使用手册至少需要出版100多种语言,印出的手册摞起来有1人多高。另外,波音飞机和大众汽车等公司的产品装配手册和使用手册也都是如此,都是上千页甚至是上万页的大数据排版。对于这种大部头出版物的排版,传统的方法非常繁琐且容易出错。而采用XML和XSL的数据与排版格式分离的排版方式,使得排版变得非常简单。这种排版软件就是将出版物的数据放在XML文件中,而将排版格式用XSL文件进行描述,...
分类:
其他好文 时间:
2014-06-10 07:27:48
阅读次数:
215