码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop spark-sql    ( 29965个结果
Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)
现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可。系统版本:master:Ubuntu 12....
分类:其他好文   时间:2014-06-10 22:01:07    阅读次数:423
ajax大数据导入的一系列问题处理
介绍:就是想实现简单的ajax上传数据,但是当数据量较大的时候,问题就一个一个接着来了,其实数据也不是很大,就是csv格式数据 不到5w条数据。大小5M,一开始认为这个很简单,就是先上传一下文件,然后读取一下,存到数据库就好了,结果,可能我比较菜,弄了半天做出这个功能。环境是linux.遇到的问题就...
分类:其他好文   时间:2014-06-10 21:04:08    阅读次数:266
大数据处理及其研究进展
大数据处理及其研究进展,内容比较通俗易懂,结构比较清晰...
分类:其他好文   时间:2014-06-10 18:11:45    阅读次数:389
出版物排版软件——对XML数据进行排版、浏览、转换、打印
随着出版物电子排版方式的普及,大部头出版物的排版,越来越多的应用在人们的工作中。例如,惠普公司的打印机销往世界各地几百个国家,打印机使用手册至少需要出版100多种语言,印出的手册摞起来有1人多高。另外,波音飞机和大众汽车等公司的产品装配手册和使用手册也都是如此,都是上千页甚至是上万页的大数据排版。对于这种大部头出版物的排版,传统的方法非常繁琐且容易出错。...
分类:其他好文   时间:2014-06-10 17:31:45    阅读次数:188
Eclipse 导入 Hadoop 源码
1.准备工作jdk:eclipse:Maven:libprotoc :https://developers.google.com/protocol-buffers/hadoop:http://www.apache.org/dyn/closer.cgi/hadoop/common/添加开源中国mave...
分类:系统相关   时间:2014-06-10 17:07:37    阅读次数:356
Spark1.0.0属性配置
1:Spark1.0.0属性配置方式       Spark属性提供了大部分应用程序的控制项,并且可以单独为每个应用程序进行配置。       在Spark1.0.0提供了3种方式的属性配置: SparkConf方式 SparkConf方式可以直接将属性值传递到SparkContext;SparkConf可以对某些通用属性直接配置,如master使用setMaster,...
分类:其他好文   时间:2014-06-10 14:47:43    阅读次数:280
hadoop下实现kmeans算法——一个mapreduce的实现方法
hadoop上进行kmeans聚类,一次迭代只使用一个mapreduce...
分类:其他好文   时间:2014-06-10 14:01:32    阅读次数:236
Sql server 大数据量插入速度慢或丢失数据解决办法
Sql server 大数据量插入速度慢或丢失数据解决办法...
分类:数据库   时间:2014-06-10 13:58:17    阅读次数:286
HDFS使用
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成:Namenode管理文件系统的元数据,而Datanode存储 了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上,客户端联系Name...
分类:其他好文   时间:2014-06-10 12:40:13    阅读次数:275
大部头出版物排版软件
随着出版物电子排版方式的普及,大部头出版物的排版,越来越多的应用在人们的工作中。例如,惠普公司的打印机销往世界各地几百个国家,打印机使用手册至少需要出版100多种语言,印出的手册摞起来有1人多高。另外,波音飞机和大众汽车等公司的产品装配手册和使用手册也都是如此,都是上千页甚至是上万页的大数据排版。对于这种大部头出版物的排版,传统的方法非常繁琐且容易出错。而采用XML和XSL的数据与排版格式分离的排版方式,使得排版变得非常简单。这种排版软件就是将出版物的数据放在XML文件中,而将排版格式用XSL文件进行描述,...
分类:其他好文   时间:2014-06-10 07:27:48    阅读次数:215
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!