优化时,把hive sql当做map reduce程序来读,会有意想不到的惊喜。
理解hadoop的核心能力,是hive优化的根本。这是这一年来,项目组所有成员宝贵的经验总结。
长期观察hadoop处理数据的过程,有几个显著的特征:
1.不怕数据多,就怕数据倾斜。
2.对jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几...
分类:
其他好文 时间:
2014-10-31 10:13:42
阅读次数:
350
这是团队的第一次会议,具体议题如下:1)我们明确了团队成员的职责所需: PM职责:根据项目范围、质量、时间与成本的综合因素的考虑,进行项目的总体规划与阶段计划。 控制项目组各成员的工作进度,即时了解项目组成员的工作情况,并能快速的解决项目组成员所碰到的难题。 Dev职责:根据需求分...
分类:
其他好文 时间:
2014-10-29 23:40:30
阅读次数:
255
之前项目中使用的是jquery-1.6.3.js,在这个版本中,如果我们想获取输入框的值,可以使用$("input").attr("value")或者是$("input").val(),这2种方式是等价的。
$("#speed").attr("value");
$("#speed").val();
最近到了另一个项目组,使用的是jquery-2.1.1.js,结果发现了问题。我...
分类:
Web程序 时间:
2014-10-29 13:05:17
阅读次数:
262
最近公司组织项目组成员开发一个Android项目的Demo,之前没有人有Andoid方面的开发经验,都是开发C#的。 虽说项目要求并不是很高,但是对于没有这方面经验的人来说,第一步是最困难的。项目历时一个多月,4个人开发,最终行成一个可用的Demo,整体效果还非常不错。这其中借鉴了网上的“仿网易.....
分类:
移动开发 时间:
2014-10-28 19:52:55
阅读次数:
237
重构背景及原因 最近由于项目组的人员在不断扩充,导致项目中代码风格各异,大有百花齐放甚至怒放之势。考虑到团队的生存与发展,经过众人多次舌战之后,最终决定项目组根据业务分成几个小分队,以加强团队管理与提高效率,同时也能培养阶梯人才。各个小分队为了“统一”代码风格,提高成员的代码能力以便最终能提高项目....
分类:
其他好文 时间:
2014-10-27 22:30:59
阅读次数:
156
最近公司组织项目组成员开发一个Android项目的Demo,之前没有人有Andoid方面的开发经验,都是开发C#的。 虽说项目要求并不是很高,但是对于没有这方面经验的人来说,第一步是最困难的。项目历时一个多月,4个人开发,最终行成一个可用的Demo,整体效果还非常不错。这其中借鉴了网上的“仿网易.....
分类:
移动开发 时间:
2014-10-26 15:32:30
阅读次数:
264
重构背景及原因 最近由于项目组的人员在不断扩充,导致项目中代码风格各异,大有百花齐放甚至怒放之势。考虑到团队的生存与发展,经过众人多次舌战之后,最终决定项目组根据业务分成几个小分队,以加强团队管理与提高效率,同时也能培养阶梯人才。各个小分队为了“统一”代码风格,提高成员的代码能力以便最终能提高项目....
分类:
其他好文 时间:
2014-10-25 18:41:38
阅读次数:
195
一、本章思维导图 二、Solr的安装和部署 1.介绍Lucene和Solr分别是什么的? Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,即它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文...
分类:
Web程序 时间:
2014-10-25 00:46:25
阅读次数:
248
项目组不久前引进了laravel框架,本人参与了laravel的调研和项目架构设计。个人认为项目架构中基于laravel的有些设计还是比较实用和有借鉴性的,现将一些设计分享给大家,希望能和大家共同学习和探讨。特别说明,本文并非对lavarel官方文档的摘抄或总结。
分类:
其他好文 时间:
2014-10-24 01:33:23
阅读次数:
149
如今CMake使用的人数越来越多,包括我项目组里,很多大牛们在写Qt程序的时候都不用自带的qmake,貌似会出现很多问题,他们往往都用自己写的CMake来编译系统,今天我也和大家一起来学学这个高大上的工具--CMake。 首先,一个CMake要想运行,必须在同目录下有CMake脚本,说说是脚本,其实...
分类:
其他好文 时间:
2014-10-23 09:25:55
阅读次数:
199