忽如一夜春风来，无人不谈大数据。大数据就像前两年的云计算一样，是一个时下被炒得很火的概念。那么什么是大数据，大数据是如何定义的，大数据处理技术有哪些，大数据能给我们带来什么益处？虽然我不知道现在这些概念是如何被炒作的，但是作为一名互联网行业的从业者，作为一个大数据技术的实践者，根据自己的理解和经验发...
分类：
其他好文 时间：
2014-05-27 02:26:50
阅读次数：
191
使用Docker一段时间之后，准备在公司内部使用Docker +
Hadoop(HDFS)组件内部一个私有云，统一管理公司和产品/项目组内部的代码、文档。我选择先从文档管理开始，在底层架子搭建好之后，需要给内部人员提供一个好的“门面”，在没有这个门面之前，我们大量使用SSH+Command方式操作，...
分类：
其他好文 时间：
2014-05-24 03:44:10
阅读次数：
1071
在后台线程中执行各种操作（网络连接、大数据存储）的时候，我们希望让客户能看到后台有操作在进行，那么既能有效的提示用户，又不占用当前操作空间，最好的方法就是在标题栏有个进度条。[代码]
[Java]代码protected void onCreate(Bundle savedInstanceState)...
分类：
移动开发 时间：
2014-05-24 00:54:52
阅读次数：
302
cd ~/srcmkdir classesjavac -classpath
~/hadoop-0.20.2/hadoop-0.20.2-core.jar WordCount.java -d classesjar -cvf
WordCount.jar -C classes/ .hadoop jar W...
分类：
其他好文 时间：
2014-05-23 22:22:04
阅读次数：
341
本文内容分为安全策略和虚拟化安全管理，重点讲介绍虚拟化安全0x01
实施安全策略安全策略是有效的安全防御机制的基础，公司如果在没有创建安全策略、标准、指南、流程等基础的情况下，首先实现了技术解决方案，会导致安全控制机制目标不集中下图是安全策略的层析结构关系：
策略通常被认为是最高层的文档，而...
分类：
其他好文 时间：
2014-05-23 22:14:39
阅读次数：
635
昨天对“黑色n秒”问题的最终猜想以失败而告终，从而让我们结束了被动猜想阶段，进入了主动进攻阶段——出招。今天出第一招——用C#写个小程序，让其在每个CPU核上运行一个线程，不让任何一个CPU核进入空闲（idle）状态，以进一步排除CPU
idle引起的“黑色n秒”。
分类：
其他好文 时间：
2014-05-23 12:44:47
阅读次数：
505
Hadoop 的优势
Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发运行处理海量数据的应用程序。它主要有以下几个优点:
1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。
2.高扩展性。Hadoop 是在可用的计算机集簇间分配数据完成计算任务的, 这些集簇可以方便地...
分类：
其他好文 时间：
2014-05-22 12:26:27
阅读次数：
217
批处理，可以大幅度提升大量增、删、改的速度，就是对大数据操作有很大的效率提升。
与上篇文章中提到的“连接池”相似。其实就是先将多次操作（增删改）打包，然后再一次发送执行
主要用到两个方法：
Ø 打包：PreparedStatement.addBatch();
Ø 发送、执行：PreparedStatement.executeBatch();
下面看做同一...
分类：
编程语言 时间：
2014-05-22 10:35:51
阅读次数：
302
这篇文章不提原理，讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了，一提到大数据就会想到hadoop，那么hadoop的作用是什么呢？
官方定义：hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台，也就是说我们有大量的数据，又有好几个电脑，我们知道应该把处理数据的任务分解到各个电脑上，但是不知道怎样分配任务，怎样回收结果，hadoop大概就帮助我们做了...
分类：
其他好文 时间：
2014-05-22 10:34:39
阅读次数：
288
版本：CDH5.0.0 （hdfs:2.3，mapreduce：2.3，yarn：2.3）hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求：现有两份数据：phone：123,good number
124,common number
125,bad numberuser：zhangsan,123
lisi,124
w...
分类：
其他好文 时间：
2014-05-22 06:23:52
阅读次数：
391
