使用 Apache Pig 从大数据集中获得所需的信息Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言，并在...
分类：
其他好文 时间：
2014-06-18 23:59:12
阅读次数：
305
大数加法时间限制(普通/Java):1000MS/3000MS 运行内存限制:65536KByte 总提交:2085 测试通过:543描述求两个非负整数（1000位以内）的和。输入两个非负整数（1000位以内），以空格分隔。输出两个非负整数的和。样例输入1111111111112...
分类：
其他好文 时间：
2014-06-16 23:38:10
阅读次数：
219
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
大数相乘，分别都是用字符串表示的两个大数，求相乘之后的结果表示。
首先我们应该考虑一下测试用例会有哪些，先准备测试用例对防御性编程会有比较大的帮助，能够考虑一些极端情况。有以下几种用例：
1）"0","0"
2)"0","879127346783" 其中一个是零
3)"as234","123343" 存在非法字符
4)"000000000000001234","2546" 存在零...
分类：
其他好文 时间：
2014-06-16 21:08:24
阅读次数：
255
快半年未更新blog，都快要忘记这里了。这半年内，升级做了父亲，有个宝宝后家里的事比之前忙多了，而且忙的不亦乐乎。这半年内，工作内容也是多样化，好几个重点任务，都要兼顾却精力不够，导致工作任务管理有些混乱。大数据、虚拟化技术需要学习，多个项目管理等需要统筹。技..
分类：
其他好文 时间：
2014-06-16 17:12:04
阅读次数：
259
2014年第一届电商技术大会由商派牵头在上海举行，抱着有空去凑热闹兼蹭饭的心理去参加了。黄兴公园小南国，UCloud,支付宝，阿里云，1号店等，还有几个小而有特色的公司代表作为嘉宾发言，还是挺有意思的。不过饭只蹭到了一顿兰州拉面+巴比馒头…1号店主讲个性化推荐，号称全站..
分类：
其他好文 时间：
2014-06-16 15:43:46
阅读次数：
319
众所周知，DatagridView控件来处理表各类数据真的是“简单、方便、疗效快”，因此备受广大民众喜爱。今天我们再来继续探讨一下有关它和Excel的“姊妹情深”。
几乎没有人不对Excel不了解，但要说熟悉和认识透彻恐怕我们还远远没有做到（这是题外之言），重点还是Excel的强大数据处理能力带给我们的便利，所以把DatagridView数据表变为老少皆宜的Excel表格就显...
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.背景 这是博主第一次大数据实战的经历，之前都是自己写一些算法然后测试很小的数量级。这次是真正接触到TB集的数据，而且完全是在云端处理。下面就把这次的经历简单分享一下。首先简单介绍一下这次比赛的环境吧：1.云：采用的是阿里云2.数据：从四月十五号到八月十五号期间，用户两千多万的购买行为（包括时间，购买、收...
分类：
其他好文 时间：
2014-06-16 14:21:39
阅读次数：
351
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下.....
分类：
其他好文 时间：
2014-06-16 13:22:07
阅读次数：
309
