使用 Apache Pig 从大数据集中获得所需的信息Apache Pig 是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。本文将探索 Pig 背后的语言，并在...
分类：
其他好文 时间：
2014-06-18 23:59:12
阅读次数：
305
以下内容大部分来自：http://blog.csdn.net/tjvictor/article/details/4360030部分内容出自互联网，实验结果为亲测。 最近自己开发一个向数据库中插入大量历史数据的函数库，需要解决一个大数据量插入的效率问题。不用分析，我知道如果采取逐条数据插入的方式，那么...
分类：
数据库 时间：
2014-06-18 17:05:26
阅读次数：
278
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
快半年未更新blog，都快要忘记这里了。这半年内，升级做了父亲，有个宝宝后家里的事比之前忙多了，而且忙的不亦乐乎。这半年内，工作内容也是多样化，好几个重点任务，都要兼顾却精力不够，导致工作任务管理有些混乱。大数据、虚拟化技术需要学习，多个项目管理等需要统筹。技..
分类：
其他好文 时间：
2014-06-16 17:12:04
阅读次数：
259
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Re..
分类：
其他好文 时间：
2014-06-16 17:07:55
阅读次数：
402
2014年第一届电商技术大会由商派牵头在上海举行，抱着有空去凑热闹兼蹭饭的心理去参加了。黄兴公园小南国，UCloud,支付宝，阿里云，1号店等，还有几个小而有特色的公司代表作为嘉宾发言，还是挺有意思的。不过饭只蹭到了一顿兰州拉面+巴比馒头…1号店主讲个性化推荐，号称全站..
分类：
其他好文 时间：
2014-06-16 15:43:46
阅读次数：
319
众所周知，DatagridView控件来处理表各类数据真的是“简单、方便、疗效快”，因此备受广大民众喜爱。今天我们再来继续探讨一下有关它和Excel的“姊妹情深”。
几乎没有人不对Excel不了解，但要说熟悉和认识透彻恐怕我们还远远没有做到（这是题外之言），重点还是Excel的强大数据处理能力带给我们的便利，所以把DatagridView数据表变为老少皆宜的Excel表格就显...
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.背景 这是博主第一次大数据实战的经历，之前都是自己写一些算法然后测试很小的数量级。这次是真正接触到TB集的数据，而且完全是在云端处理。下面就把这次的经历简单分享一下。首先简单介绍一下这次比赛的环境吧：1.云：采用的是阿里云2.数据：从四月十五号到八月十五号期间，用户两千多万的购买行为（包括时间，购买、收...
分类：
其他好文 时间：
2014-06-16 14:21:39
阅读次数：
351
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下.....
分类：
其他好文 时间：
2014-06-16 13:22:07
阅读次数：
309
