时空地图 TimeGIS 6.0 是一个地理信息系统软件，它可以显示网络地图，编辑ArcGIS的SHP矢量文件格式，显示NETCDF等栅格文件，管理图层等。 在它的基础上，可以二次开发各种GIS应用，如历史GIS，土地GIS，水利GIS，交通GIS，GPS软件，气象GIS等等。 时空地图 TimeG
分类：
其他好文 时间：
2016-01-31 21:33:27
阅读次数：
362
题目是给一个DNA重新排列使其包含最多的数论基因。 考虑到内存大概就只能这么表示状态： dp[i][A][C][G][T]，表示包含各碱基个数为ACGT且当前后缀状态为自动机第i的结点的字符串最多的数论基因数 其中ACGT可以hash成一个整数（a*C*G*T+c*G*T+g*T+T），这样用二维数
分类：
其他好文 时间：
2016-01-31 21:33:08
阅读次数：
255
简介 本文介绍了Hadoop自0.23.0版本后新的MapReduce框架(Yarn)原理，优势，运行机制和配置方法等，着重介绍新的yarn框架相对于原框架的差异及改进，并通过Demo示例详细介绍了在新的Yarn框架下搭建和开发Hadoop程序的方法。读者通过本文中新旧Hadoop MapReduc
分类：
其他好文 时间：
2016-01-31 21:32:17
阅读次数：
450
如前一篇笔记，我们还是只讨论两层嵌套布局的情况。 前面的布局有一个缺点：有三个内层布局，则需要三个空部件。那若有十个内层布局呢？显然会让人不舒服。 刚才在玩 Qt Designer 时，发现了一个更好的办法，不管有多少个内层布局，只需要一个空部件。 一、过程分析： 1. 先准备一个全局部件，用于"承
分类：
其他好文 时间：
2016-01-31 21:32:21
阅读次数：
217
一：背景 有时候，我们可以不以偏移量和行文本内容来作为数据源到MapTask的输入格式，而使用键值对的形式，使用KeyValueInputFormat就可以完成这种需求。 二：技术实现 数据源如下 操作代码如下： [java] view plain copy public class MyKeyVa
分类：
其他好文 时间：
2016-01-31 21:29:13
阅读次数：
393
序列化的概念 1.序列化(Serialization)是指把结构化对象转化为字节流。 2.反序列化(Deserialization)是序列化的逆过程，即把字节流转回结构化对象Hadoop序列化的特点 1.序列化格式特点 ——紧凑：高效使用 存储空间 ——快速：读写数据的额外开销小 ——可扩展：可透明
分类：
其他好文 时间：
2016-01-31 21:31:56
阅读次数：
359
一：背景 SemiJoin，一般称为半连接，其原理是在Map端过滤掉一些不需要join的数据，从而大大减少了reduce和Shuffle的时间，因为我们知道，如果仅仅使用Reduce端连接，那么如果一份数据，存在大量的无效数据，而这些数据在join中并不需要，但是因为没有做过预处理，所以这些数据直到
分类：
其他好文 时间：
2016-01-31 21:30:54
阅读次数：
297
背景 Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce
分类：
其他好文 时间：
2016-01-31 21:28:47
阅读次数：
222
文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要，那么我现在就先来了解一下hadoop的文件压缩。 Hadoop里支持很多种压缩格式，看下表： DEFLATE是同时使用了LZ77算法与哈弗曼编码(Huffman Coding)
分类：
其他好文 时间：
2016-01-31 21:29:35
阅读次数：
320
一：概述 随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已经得到越来越广泛的应用。 二：存在问题： Hadoop作为一个基础数据处理平台，虽然其应用价值已经得到大家认可，但仍然存在问题，以下是主要几个
分类：
其他好文 时间：
2016-01-31 21:29:04
阅读次数：
341
关注点： 可维护性和复用 分层清晰，将业务逻辑的实现单独分离出来，有利于系统后期的维护。 软件复用是企业开发的生命，企业以追求利润为最大目标，企业希望以最快的速度，开发出最稳定、最实用的软件，系统使用框架，可以减少开发时产生的漏洞，减少系统出错的风险，减少投入的人力，物力和财力。只要有实际开发经验的
分类：
其他好文 时间：
2016-01-31 21:29:53
阅读次数：
213
## Objective-C KVC 自己主动转换类型研究 apple非常厚道,kvc的时候帮我们做了一些类型转换,规律贴出来,给大伙參考參考 @interface Entity : NSObject @property (nonatomic, copy) NSString *str; @prope
分类：
其他好文 时间：
2016-01-31 21:29:42
阅读次数：
155
struct Edge { int from,to,cap,flow,cost; }; struct MCMF { int n,m,s,t; vector<Edge> edges; vector<int> G[maxn]; int inq[maxn]; int d[maxn]; int p[maxn
分类：
其他好文 时间：
2016-01-31 21:27:45
阅读次数：
268
1.hash 方式访问。 %ENV key为环境变量名，value为环境变量值 2.调用ENV模块 。 use Env qw(PATH); print "path is $ENV{path}\n"; 这段代码会创建（或者覆盖）环境里的PerlVar变量。 $ENV{PerlVar} = "Perl
分类：
其他好文 时间：
2016-01-31 21:28:16
阅读次数：
3355
数据完整性 IO操作过程中难免会出现数据丢失或脏数据，数据传输量越大出错的几率就越大。校验错误最常用的办法就是传输前计算一个校验和，传输后计算一个校验和，两个校验和如果不相同就说明数据存在错误，比较常用的错误校验码是CRC32。 HDFS数据完整性 HDFS写入的时候计算出校验和，然后每次读的时候再
分类：
其他好文 时间：
2016-01-31 21:27:08
阅读次数：
191
在Gemfile文件中添加'bootstrap-sass'，再运行bundle install gem 'bootstrap-sass' 在config/application.rb添加一行代码，让bootstrap-sass和asset pipeline兼容 class Application <
分类：
其他好文 时间：
2016-01-31 21:27:45
阅读次数：
269
概述： 一个Hive查询生成多个map reduec job，一个map reduce job又有map，reduce，spill，Shuffle，sort等几个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会分细节)，针对MR全局的优化，和针对整个查询(多MR job
分类：
其他好文 时间：
2016-01-31 21:27:55
阅读次数：
402
