awk提供了很强大的功能，它是linux中功能最强大的数据处理引擎之一，它不仅可以对文本数据进行搜索分析处理排序，还可以支持数学运算，含有内置函数和内置变量，甚至还可以进行一些脚本处理，编程。可以这么说，它可以根据发挥者的能力来起作用。awk在linux中其实并不叫awk，而..
分类：
其他好文 时间：
2014-08-24 04:06:12
阅读次数：
324
最近有客户反馈系统导入EXECL进行数据处理超时了，我当时的第一反应，不可能啊我明明是做过性能优化的啊，怎么还会超时呢，这是要有多少条数据才可能发生啊！于是找客户要来了EXECL，发现有7500多条数据，备份完客户数据库进行代码调试找出性能差的地方。都是一些平时老生常谈的东西，可是又是很容易忽略的地...
分类：
其他好文 时间：
2014-08-23 13:58:00
阅读次数：
336
模型-视图-控件（model-View-Controller）MVC结构是一种开发模块的方法，它将数据存储和数据处理从数据的可视化表示中分离出来。存储和处理数据的组件称为模型，它包含模块的实际内容。表示数据的组件称为视图，它处理模块所有必要的行为，完成模块的所有显示。控件通常是一种用来获取数据的组件。
把模块分解成模型与视图有两个明显优点：
1.可以使用多个视图共享同一个模型数据。
...
分类：
Web程序 时间：
2014-08-23 12:43:40
阅读次数：
276
对于CAS是一种有别于synchronized的一种乐观锁实现.是一种非阻塞锁算法.CAS通过与原始预期值进行比较来确定是否修改主内存中数据的一种方案.基于一个线程的失败或者挂起不应该影响其他线程的失败或挂起这样的前提，而提出硬件层次的实现数据处理的互斥。可以自动更新共享数据，而且能够检测到其他线程的干扰，而
compareAndSet() 就用这些代替了锁定。对于实现CAS的原子类(Atom...
分类：
编程语言 时间：
2014-08-22 10:56:46
阅读次数：
261
TDW 是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在建设单个大规模集群中采取的 JobTracker 分散化和 NameNode 高可用两个优化方案。TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源...
分类：
其他好文 时间：
2014-08-21 16:39:04
阅读次数：
252
对于CAS是一种有别于synchronized的一种乐观锁实现.是一种非阻塞锁算法.CAS通过与原始预期值进行比较来确定是否修改主内存中数据的一种方案.基于一个线程的失败或者挂起不应该影响其他线程的失败或挂起这样的前提，而提出硬件层次的实现数据处理的互斥。可以自动更新共享数据，而且能够检测到其他线程的干扰，而
compareAndSet() 就用这些代替了锁定。对于实现CAS的原子类(Atom...
分类：
编程语言 时间：
2014-08-21 13:26:04
阅读次数：
236
【为什么要使用泛型】 通过泛型可以定义类型安全的数据结构（类型安全），而无须使用实际的数据类型（可扩展）。这能够显著提高性能并得到更高质量的代码（高性能），因为您可以重用数据处理算法，而无须复制类型特定的代码（可重用）。在概念上，泛型类似于 C++ 模板，但是在实现和功能方面存在明显差异。 考虑.....
分类：
其他好文 时间：
2014-08-18 20:28:02
阅读次数：
196
Bloom Filter是由Bloom在1970年提出的一种快速查找算法，通过多个hash算法来共同判断某个元素是否在某个集合内。可以用于网络爬虫的url重复过滤、垃圾邮件的过滤等等。
它相比hash容器的一个优势就是，不需要存储元素的实际数据到容器中去来一个个的比较是否存在。
只需要对应的位段来标记是否存在就行了，所以想当节省内存，特别适合海量的数据处理。并且由于省去了存储元素和比较...
分类：
其他好文 时间：
2014-08-18 18:37:02
阅读次数：
339
分布式文件系统 Google File System：是由google开发并设计的一个面向大规模数据处理的一个分布式文件系统。 我们首先来简单的说明一下这个分布式，我们都知道现在要存储的数据量越来越大，但是一台电脑的存储能力是有限的，尽管我们可以通过提高某台电脑的存储能力来解决这个问题，但是这是.....
分类：
其他好文 时间：
2014-08-17 23:58:03
阅读次数：
440
从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，认为它们非常是神奇，而神奇的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，认为Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到...
分类：
其他好文 时间：
2014-08-16 18:29:30
阅读次数：
339
