hadoop是一个分布式的基础架构，利用分布式实现高效的计算与储存，最核心的设计在于HDFS与MapReduce，HDFS提供了大量数据的存储，mapReduce提供了大量数据计算的实现，通过Java项目实现hadoop job处理海量数据解决复杂的需求。
一、基本环境及相关软件的配置
详细配置说明：基本环境配置及权限申请
二、hadoop项目开发流程
hadoop主要的...
分类：
其他好文 时间：
2014-11-19 18:49:25
阅读次数：
175
近日，Linkedin宣布开源其正在使用的大数据计算引擎Cubert，该框架提供了一种新的数据模型来组织数据，并使用诸如MeshJoin 和Cube算法等算法来对组织后的数据进行计算，从而减轻了系统负荷和节省了CPU资源，最终提供给用户一个简单、高效的查询。Cubert比较适合的计 算领域包括统计计...
分类：
其他好文 时间：
2014-11-19 18:17:29
阅读次数：
187
UIView的layoutSubviews和drawRect方法首先两个方法都是异步执行。layoutSubviews方便数据计算，drawRect方便视图重绘。layoutSubviews在以下情况下会被调用：1、init初始化不会触发layoutSubviews。2、addSubview会触发l...
分类：
其他好文 时间：
2014-11-19 18:00:39
阅读次数：
164
报表应用中当数据量较大或计算过程较复杂时，会导致报表数据源准备过慢，从而影响报表性能。这时常常需要事先将报表需要的数据计算好，在呈现时直接引用即可，这样用户在访问报表时就可以迅速地获得响应。当前的手段及弊端由于报表在访问时还需要参数，显然不可能把所有参数组..
分类：
其他好文 时间：
2014-11-18 11:57:01
阅读次数：
206
Date: 2014.10.29R学习：第一章知识点概述R语言区分大小写R语言支持的数据类型包括：向量，矩阵，数据框以及列表一次交互会话期间的所有数据对象都被保存在内存之中（my#大量的数据计算会对内存造成很大压力？后面有讲要使用特殊的方法）my#代表自己的注释R语言中使用了 a a[1] 1 2....
分类：
编程语言 时间：
2014-11-16 18:32:15
阅读次数：
4451
XHProf是一个分层PHP性能分析工具。它报告函数级别的请求次数和各种指标，包括阻塞时间，CPU时间和内存使用情况。一个函数的开销，可细分成调用者和被调用者的开销，XHProf数据收集阶段，它记录调用次数的追踪和包容性的指标弧在动态callgraph的一个程序。它独有的数据计算的报告/后处理阶段。...
分类：
其他好文 时间：
2014-11-15 14:00:23
阅读次数：
148
R是一个开源的统计学软件包，用于数据计算，绘图等等用途，看介绍与大数据走得比较近。 入门还是很简单的，安装文件也非常的小。 官网网站，下载对应系统的安装包，55M,比matlab小多了，像操作系统一样，非常重了。 http://www.r-project.org/ 精略看了下使用： 比如，把向量赋值...
分类：
其他好文 时间：
2014-11-14 21:10:30
阅读次数：
169
原文:使用跟踪标记查看过滤统计信息是否被使用 在某些情况下，表中数据较多，且分布不均匀的时候，执行计划的估计行数往往会有很大偏差，因此SQL Server 2008引入了过滤统计信息，意味着只对表中的特定数据计算统计信息。那么在调优查询的过程中如何知道语句是否使用了过滤统计信息呢？SQL Serve...
分类：
其他好文 时间：
2014-11-12 00:28:03
阅读次数：
261
实际信息系统中很多数据计算是为前端展示而进行的，其中报表是最常见的一种形式。这些计算的实现过程往往并不简单，使用SQL或存储过程实现起来比较困难，从而影响到前端报表设计。像http://bbs.csdn.net/topics/390813196中提的问题，其目的往往是为了实现一个供生产或采购部门..
分类：
其他好文 时间：
2014-11-04 15:13:52
阅读次数：
207
一、grepgrep-printlinesmatchingapattern(grep可以分析一行信息，若当中有我们所需要的信息，就将该行拿出来）grep[OPTIONS]PATTERN[FILE...]（pattern：文本字符和正则表达式的元字符组合而成的匹配条件）-a:将binary文本以text文本的方式搜寻数据-c:计算找到‘pattern’的次..
分类：
其他好文 时间：
2014-11-03 01:24:33
阅读次数：
161
