随着移动互联网的发展，大量的非结构化数据随之产生，不仅对数据库存储大数据提出了新的要求，同时对于查询数据和进行大数据分析也提出了苛刻的要求，这些显然是单服务器处理能力无法满足的，自然建立一个集群是不可避免的。集群的复杂性大家众所周知，而MongoDB的优势之一正式可以帮助我们解决这些问题。分片(sh...
分类：
数据库 时间：
2014-07-12 13:00:54
阅读次数：
267
hadoop dfs -cat xxxhadoop dfs -ls [xxx]hadoop dfs -rm xxx删除目录及其内容hadoop dfs -rmr xxx 查看子目录数、文件数及大小hadoop dfs -count xxx 查看目录大小hadoop dfs -du xxxhadoop...
分类：
其他好文 时间：
2014-07-12 00:22:25
阅读次数：
164
由于本人是个足球迷，前段日子Google利用自己云平台预测世界杯八进四的比赛并取得了75%的正确率的事情让我振动不小。虽然这些年一直听说大数据的预测和看趋势能力如何如何强大，但这次的感受更加震撼，因为世界杯是很多人都在关注并尝试去预测的比赛，Google云平台在这个时候站出来预测比赛无疑很让人充满期...
分类：
其他好文 时间：
2014-07-12 00:14:33
阅读次数：
233
import org.apache.hadoop.io.Text;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.C...
分类：
其他好文 时间：
2014-07-11 23:34:33
阅读次数：
231
wcf webHttpBinding Post 大数据量提交 ios c＃客户端一直在为安卓和苹果写服务，刚开始的时候全用的Get请求用url传所有的参数，由于url长度的限制大的数据量无法传到服务器，提交图片什么的就更不用说了，后来用的POST请求，记录一下，做了一个很简单的小例子：c#源代码提供...
分类：
Web程序 时间：
2014-07-11 19:20:06
阅读次数：
312
hadoop2分布式安装后总是报这个bug2014-07-06 08:22:40,506 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (....
分类：
其他好文 时间：
2014-07-11 19:02:38
阅读次数：
364
线上一个job出错，报错信息如下：DiagnosticMessagesforthisTask:
Error
:
java.io.IOException:java.io.EOFException:Unexpectedendofinputstream
atorg.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderNextException(HiveIOExceptionHandlerChain.jav..
分类：
其他好文 时间：
2014-07-09 08:40:55
阅读次数：
347
最近学习hadoop，建了个工程，由于是引入的jar包，不方便阅读，百度了一下，发现还是各种麻烦，在这里给大家介绍一种简单的办法，两步搞定一.下载hadoop完整包并解压二.选择hadoopjar包---》右键属性--》source---》外部文件夹（选择解压的目录就可以了）三.看成果是不是方便多..
分类：
系统相关 时间：
2014-07-09 08:32:45
阅读次数：
219
今天收到线上的resourcemanager报警：报错信息如下：2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.util.AbstractLivelinessMonitor:Expired:xxxx:53356Timedoutafter600secs
2014-07-0813:22:54,118INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl..
分类：
其他好文 时间：
2014-07-09 08:21:41
阅读次数：
436
最近一直在构思这样的一个胶片，主要是从大数据，云计算的发展来看底层网络的变革。众所周知，一般一个新的技术，都会先在运营商里使用，然后才会在一些大的政企或特殊行业使用。特别是现在的大数据与云计算的兴起，势必会对网络提出一个大的变革。互联网厂商一般都是与业务相..
分类：
其他好文 时间：
2014-07-09 08:07:56
阅读次数：
226
