? 众包测试中的游戏化 Mahesh Gudipati有超过10年的测试经验，参与过不少不同领域的项目。他在数据仓库/BI测试，需求预测测试，大数据测试和产品测试方面有丰富的经验。他在多个ETL/DW测试项目中实现了自动化...
分类：
其他好文 时间：
2014-08-07 13:33:20
阅读次数：
336
众包测试中的游戏化 Mahesh Gudipati有超过10年的测试经验，参与过不少不同领域的项目。他在数据仓库/BI测试，需求预测测试，大数据测试和产品测试方面有丰富的经验。他在多个ETL/DW测试项目中实现了自动化技术，并因为开发出了ETL/DW测试的端对端解决方案获得了一项专利。他是一名获P....
分类：
其他好文 时间：
2014-08-07 12:17:09
阅读次数：
338
最近研究了下Spark如何读写压缩格式的文件，主要有如下三种方式，这里以lzo方式压缩为例/*******************oldhadoopapi*************************/
valconfHadoop=newJobConf
confHadoop.set("mapred.output.compress","true")
confHadoop.set("mapred.output.compression.c..
正在运行的API有bug，不能var_dump进行调试，因为会影响client的调用。 将日志写到文件，查看也不方便，特别是带调用栈或大数据结构的文件日志，查看日志十分困难。 这时候用SocketLog最好，SocketLog通过websocket将调试日志打印到浏览器的console中。你还可以用...
分类：
其他好文 时间：
2014-08-07 07:14:29
阅读次数：
293
由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求，越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中，可编程性方面将遇到以下几个挑战：
并行编程问题；为了将应用并行化，需要并行编程模型的支撑。
容错和慢节点问题；当集群规模相当大时，这个问题也是非常严重的。
多用户共享集群要求能具备弹性计算的能力，此外还要考虑干扰问题。
结果就是出现了很多编程模型，首先是MapReduce使数据批处理变得简单通用同时能处理容错。但很难处理其它类型的负载，于是就出现了各种各样专用的编程模型：
...
分类：
其他好文 时间：
2014-08-06 19:28:12
阅读次数：
285
3.点击“Finish”完成虚拟系统的创建，如下图所示：点击我们创建的Ubuntu，如下所示点击“CD/DVD(IDE)”进入如下界面选择我们的Ubuntu的ISO的具体存放路径，选择好后如下图所示：点击“OK”完成设置；点击“Memory”，进入如下界面：此时把我们虚拟的内存设置为2G，如下所示：...
分类：
其他好文 时间：
2014-08-06 18:36:01
阅读次数：
195
sqoop产生背景多数是用Hadoop技术处理大数据业务的企业有大量的数据存储在传统的关系型数据库（RDBMS）中；由于缺乏工具的支持、对Hadoop和传统数据库系统中的数据进行相互传输是一件十分困难的事情；Sqoop就是一个在RDBMS和Hadoop之间进行数据传输的项目；sqoop概述sqoop...
分类：
其他好文 时间：
2014-08-06 18:04:35
阅读次数：
236
作者：易仔阿克时间：2014-08-06博文标题：到底什么才是大数据多年来一直从事信息化相关工作的朋友，对于IT界传出的各种新鲜词汇从来都不会感到陌生，勤奋而努力的IT人在实现让技术改变世界梦想的同时，也一次次革着自己的命，用热情和汗水推动着行业与社会的发展变革。那么，..
分类：
其他好文 时间：
2014-08-06 15:04:02
阅读次数：
273
作者：易仔阿克时间：2014-08-06博文标题：《大数据时代的历史机遇》读书心得大数据资产价值评估模型：规模、颗粒度、多维度、关联性、活性。前四个侧重从空间角度，最后一个侧重在时间角度。规模是指数据的多少，数据量当然是越大越好。颗粒度只是数据的粒度，当然是数据粒度..
分类：
其他好文 时间：
2014-08-06 15:03:32
阅读次数：
538
