关键字：微信公众平台开发 作者：方倍工作室在这篇微信公众平台开发教程中，我们假定你已经有了PHP语言程序、MySQL数据库、计算机网络通讯、及HTTP/XML/CSS/JS等基础。我们将使用微信公众账号方倍工作室作为讲解的例子，二维码见底部。本系列教程将引导你完成如下任务：创建新浪云计算平台应用启用...
分类：
微信 时间：
2014-06-18 23:10:53
阅读次数：
790
Mapreduce 模式中的 Pig对于 MapReduce 模式，必须首先确保 Hadoop 正在运行。要做到这一点，最简单的方法是在 Hadoop 文件系统树的根上执行文件列表操作，如 清单 3 所示。清单 3. 测试 Hadoop 可用性$ hadoop dfs -ls /Found 3 it...
分类：
其他好文 时间：
2014-06-18 22:46:01
阅读次数：
490
測试版本号：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到例如以下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultConta...
分类：
其他好文 时间：
2014-06-17 00:51:07
阅读次数：
1853
本打算使用mapr的虚拟机在里面进行开发,使用eclipse进行调试,它的问题是,有时候服务不能完全起来,如jobtracker和tasktracker,cldb没有起来,重启服务有可能解决.但另外一个问题是我使用eclipse和0.20.2的插件,无法连接DFS location,无法调试hado...
分类：
其他好文 时间：
2014-06-16 23:40:12
阅读次数：
320
五、搭建Hadoop集群上面的步骤，确认了单机可以执行Hadoop的伪分布执行，真正的分布式执行无非也就是多几台slave机器而已，配置方面的有一点点区别，配置起来就非常简单了。1、准备三台服务器192.168.56.101192.168.56.102192.168.56.103在每台机器的/etc/hosts中都将ip及hostname给映射上：192.168.56.101 nginx1192...
分类：
其他好文 时间：
2014-06-16 23:18:41
阅读次数：
499
四、测试Hadoop一个简单的求每年温度最大值的程序。1、准备两个文本测试数据准备两个名为data1.txt及data2.txt的文件，用于做为计算的输入数据，将其放于/home/fenglibin/java/data目录下：data1.txtdata2.txt1999 101999 201999 252000 212000 222000 182000 402001 452001 652002 9...
分类：
其他好文 时间：
2014-06-16 20:52:57
阅读次数：
443
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.背景 这是博主第一次大数据实战的经历，之前都是自己写一些算法然后测试很小的数量级。这次是真正接触到TB集的数据，而且完全是在云端处理。下面就把这次的经历简单分享一下。首先简单介绍一下这次比赛的环境吧：1.云：采用的是阿里云2.数据：从四月十五号到八月十五号期间，用户两千多万的购买行为（包括时间，购买、收...
分类：
其他好文 时间：
2014-06-16 14:21:39
阅读次数：
351
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下.....
分类：
其他好文 时间：
2014-06-16 13:22:07
阅读次数：
309
