使用 Apache Pig 从大数据集中获得所需的信息Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言，并在...
分类：
其他好文 时间：
2014-06-18 23:59:12
阅读次数：
305
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
众所周知，DatagridView控件来处理表各类数据真的是“简单、方便、疗效快”，因此备受广大民众喜爱。今天我们再来继续探讨一下有关它和Excel的“姊妹情深”。
几乎没有人不对Excel不了解，但要说熟悉和认识透彻恐怕我们还远远没有做到（这是题外之言），重点还是Excel的强大数据处理能力带给我们的便利，所以把DatagridView数据表变为老少皆宜的Excel表格就显...
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.背景 这是博主第一次大数据实战的经历，之前都是自己写一些算法然后测试很小的数量级。这次是真正接触到TB集的数据，而且完全是在云端处理。下面就把这次的经历简单分享一下。首先简单介绍一下这次比赛的环境吧：1.云：采用的是阿里云2.数据：从四月十五号到八月十五号期间，用户两千多万的购买行为（包括时间，购买、收...
分类：
其他好文 时间：
2014-06-16 14:21:39
阅读次数：
351
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下.....
分类：
其他好文 时间：
2014-06-16 13:22:07
阅读次数：
309
优质数据库在处理大数据的程序或系统中是有非常重要的作用的，所以对于数据库的设计有很多的要求和规定。首先数据库要有很好的可维护性、灵活性，并且数据库的算法逻辑性也要有一定的优化性，这样可以对资源进行有效利用，并且处理数据的时间也会缩短。...
分类：
数据库 时间：
2014-06-15 12:27:34
阅读次数：
238
你需要了解大数据高并发的瓶颈在哪里，一般都是数据库层面的，机械硬盘承载不起非常快速的读写操作，cpu承载不起大量的逻辑运算，所以最基本的解决思路就是：1.换固态硬盘加快硬盘的读写效率。2.建立缓存中间件降低对硬盘的读写次数，缓存不用多说了，最最最基本和重要的优化策略。3.将硬盘的读写或者数据的计算分...
分类：
其他好文 时间：
2014-06-14 17:13:23
阅读次数：
179
scala的函数式和面向对象风格，可以让想想随时发生；如果你是画家，使用scala写出来的代码更像一幅充满诗意的风景画。如果你是作家，写出的将是一个扣人心弦的跌宕起伏的大篇。scala给不同类型的程序员不同的体验和感受。而使用scala函数式柯里化风格，可以编写出更加抽象，功能化和高效的函数式代码。...
分类：
其他好文 时间：
2014-06-14 14:44:24
阅读次数：
519
