忽如一夜春风来,无人不谈大数据。大数据就像前两年的云计算一样,是一个时下被炒得很火的概念。那么什么是大数据,大数据是如何定义的,大数据处理技术有哪些,大数据能给我们带来什么益处?虽然我不知道现在这些概念是如何被炒作的,但是作为一名互联网行业的从业者,作为一个大数据技术的实践者,根据自己的理解和经验发...
分类:
其他好文 时间:
2014-05-27 02:26:50
阅读次数:
191
使用Docker一段时间之后,准备在公司内部使用Docker +
Hadoop(HDFS)组件内部一个私有云,统一管理公司和产品/项目组内部的代码、文档。我选择先从文档管理开始,在底层架子搭建好之后,需要给内部人员提供一个好的“门面”,在没有这个门面之前,我们大量使用SSH+Command方式操作,...
分类:
其他好文 时间:
2014-05-24 03:44:10
阅读次数:
1071
在后台线程中执行各种操作(网络连接、大数据存储)的时候,我们希望让客户能看到后台有操作在进行,那么既能有效的提示用户,又不占用当前操作空间,最好的方法就是在标题栏有个进度条。[代码]
[Java]代码protected void onCreate(Bundle savedInstanceState)...
分类:
移动开发 时间:
2014-05-24 00:54:52
阅读次数:
302
cd ~/srcmkdir classesjavac -classpath
~/hadoop-0.20.2/hadoop-0.20.2-core.jar WordCount.java -d classesjar -cvf
WordCount.jar -C classes/ .hadoop jar W...
分类:
其他好文 时间:
2014-05-23 22:22:04
阅读次数:
341
Hadoop 的优势
Hadoop 是 一 个 能 够 让 用 户 轻 松 架 构 和 使 用 的 分 布 式 计 算 平 台。 用 户 可 以 轻 松 地 在Hadoop 上开发运行处理海量数据的应用程序。它主要有以下几个优点:
1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。
2.高扩展性。Hadoop 是在可用的计算机集簇间分配数据完成计算任务的, 这些集簇可以方便地...
分类:
其他好文 时间:
2014-05-22 12:26:27
阅读次数:
217
批处理,可以大幅度提升大量增、删、改的速度,就是对大数据操作有很大的效率提升。
与上篇文章中提到的“连接池”相似。其实就是先将多次操作(增删改)打包,然后再一次发送执行
主要用到两个方法:
Ø 打包:PreparedStatement.addBatch();
Ø 发送、执行:PreparedStatement.executeBatch();
下面看做同一...
分类:
编程语言 时间:
2014-05-22 10:35:51
阅读次数:
302
这篇文章不提原理,讲讲hadoop及其周边项目的作用。
hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢?
官方定义:hadoop是一个开发和运行处理大规模数据的软件平台。核心词语是平台,也就是说我们有大量的数据,又有好几个电脑,我们知道应该把处理数据的任务分解到各个电脑上,但是不知道怎样分配任务,怎样回收结果,hadoop大概就帮助我们做了...
分类:
其他好文 时间:
2014-05-22 10:34:39
阅读次数:
288
◎新媒体新闻门户自我革命的五大趋势 ◎大数据数据分析企业Acxiom
将以3.1亿美元收购LiveRamp毛利高达80%的商业模式,让Splunk成为第一家大数据处理的上市公司
◎电商陈欧:“村儿”里出来的电商新贵从“京城荔战”谈生鲜格局阿里补贴外贸出口企业,欲构建外贸信用体系马云新开腔:阿...
分类:
其他好文 时间:
2014-05-19 16:47:49
阅读次数:
295
DevExpress
ChartControl加载大数据量数据时的性能优化方法有哪些?关于图表优化,可从以下几个方面解决:1.关闭不需要的可视化的元素(如LineMarkers,
Labels等): Series.View.LineMarkerOptions.Visible =false.2. 关闭...
分类:
其他好文 时间:
2014-05-19 14:43:57
阅读次数:
281
目的
使用 CLI MiniCluster, 用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群,不需要设置任何环境变量或管理配置文件。 CLI MiniCluster 同时启动一个 YARN/MapReduce 和 HDFS 集群。
这对那些想要快速体验一个真实的Hadoop集群或是测试依赖明显的Hadoop函数的非Java程序 的用户很有用。
Hadoop Ta...
分类:
其他好文 时间:
2014-05-18 18:41:39
阅读次数:
319