1. Bit Map算法简介 ? ? ? ??来自于《编程珠玑》。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。 2、 Bi...
分类：
其他好文 时间：
2014-08-15 18:10:20
阅读次数：
266
HDFS
HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：
1）适合存储非常大的文件
2）适合流式数据读取，即适合“只写一次，读多次”的数据处理模式
3）适合部署在廉价的机器上
但HDFS不适合以下场景（任何东西都要分两面看，只有适合自己业务的技术才是真正的好技术）：
1）不适合存储大量的小文件，因为受Namenode内...
分类：
其他好文 时间：
2014-08-14 16:46:28
阅读次数：
260
Hive常用的存储类型有：1、TextFile： Hive默认的存储类型；文件大占用空间大，未压缩，查询慢；2、Sequence File：3、RCFile：facebook开发的一个集行存储和列存储的优点于一身，压缩比更高，读取列更快，它在mr环境中大规模数据处理中扮演着重要的角色；是一种行列存储...
分类：
其他好文 时间：
2014-08-14 16:01:08
阅读次数：
283
大数据和以往的信息产出方式相比具有三个明显的特征—数据量大、非结构性和实时性，它创造了一个无限可能的世界。企业正在以史无前例的方式建立和应用大数据解决方案，这些方案不仅能够帮助他们实现收益的最大化，更重要的是他们重新定义了与客户的关系。
企业为何变得如此痴迷？大数据真的和以前大范围数据处理有着如此大的差别么？
? 抽样数据分析VS全数据分析
直到...
分类：
其他好文 时间：
2014-08-13 10:32:25
阅读次数：
2210
select a.pluno,a.pluname,a.spec,a.curcsprc ,a.slprc ,d.qty 西部销售,e.qty 东部销售,f.qty 中区销售,g.qty 团购销售,a1.qty 西部库存,a2.qty 东部库存,a3.qty 中区库存,a4.qty 团购库存from 商...
分类：
其他好文 时间：
2014-08-12 16:59:34
阅读次数：
197
小媛在努力
时间限制：1000 ms | 内存限制：65535 KB
难度：2
描述 在多媒体数据处理中，数据压缩算法尤为重要。小媛上完课后就想自己发明一个数据压缩算法。她想呀想，终于想到一个方法。在多媒体数据中有很多数据都是重复的，所以她想把连续相同的数据用数据出现的次数和数据本身表示。例如：1 1 1 2 3 3 3 3 3 压缩后及为3 1 1 2 5 3（表示3个1，1个2...
分类：
其他好文 时间：
2014-08-11 17:55:32
阅读次数：
215
原地址：http://www.9miao.com/question-15-54002.htmlFirefly——dbentrust示例说明一、数据库准备本篇示例演示的是firefly与MySQL和memcached之间的数据处理，所以要先准备好数据库。（数据库工具使用的是SQLyogEnt）1、创建...
分类：
数据库 时间：
2014-08-11 17:44:42
阅读次数：
341
在层次化网络设计方案中，通常在（汇聚层）实现网络的访问策略控制。
层次化网络，核心，汇聚，接入；
核心层，骨干组件，高速交换组件，数据交换的任务；
汇聚层，核心层与终端用户接入层的分界面，网络访问策略，数据包处理，过滤，寻址，其他数据处理的任务；
接入层，本地网段用户接入；
分类：
其他好文 时间：
2014-08-11 17:13:12
阅读次数：
188
作为一个开发人员，起初的开发场景可能涉及的比较专业的业务开发，但是我们也得了解一下数据库的一些常见的大数据处理的场景，普及一下计算机知识，以后会遇到类似场景，自己也可以实现这些东西。主存同步：MS 场景：把A数据库的数据同步到B数据库 作用：备份，高可用，负载均衡 原理：binlog实时回复双...
分类：
数据库 时间：
2014-08-10 12:49:50
阅读次数：
276
从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，认为它们非常是神奇，而神奇的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，认为Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到...
分类：
其他好文 时间：
2014-08-09 18:40:08
阅读次数：
297
