任何一个复杂的软件系统,为了提高其适应性和扩展性,一般都会有一个配置模块或者配置系统,作完成其扩展、定制的手段和方式。1.1. Windows的配置文件(第一次知道这事啊):采用的是ini后缀的文本文件,可通过动态链接库提供方法进行处理。初始化文件或profile概要文件1.2. Java配置文件:...
分类:
其他好文 时间:
2014-07-16 23:31:06
阅读次数:
340
phoenix——提供hbase的sql操作的框架2014年01月06日?hadoop及周边,hbase? 共 364字 ? 字号小中大?1条评论? 阅读 1,522 views 次是什么?hbase提供了海量数据的毫秒级查询。可见,hbase是个非常好的实时查询框架,缺点就是查询功能非常薄弱,仅限...
分类:
数据库 时间:
2014-06-28 10:01:50
阅读次数:
395
HBase是依赖Hadoop的数据存储系统,可以实现大数据(过亿条记录)的存储,进行并行化处理。在特定的场景下HBase有自己的用武之地。下面讲述如何进行伪分布模式安装1.设置环境变量我使用的HBase版本是hbase-0.94.7-security.tar.gz,安装在机器hadoop0的/usr...
分类:
其他好文 时间:
2014-06-28 09:46:59
阅读次数:
266
选择传智播客九大理由:
1 有实力不怕炫,我们就爱那个是出书出开源项目
2 引领新技术,让我们学员走在别人最前面,首家推出Hadoop,Unity3D,Nginx。
3 课程知识面广,技术讲解深入易懂,让我们学员不仅会做,还能明白其中原理。
4 培养学员自己解决问题的能力,拒绝成为“只会点击控件”的工具使用者。
5 终结“行尸走肉”的生活,带您走上“积极向上,充满理想”的人生道路。
6...
分类:
其他好文 时间:
2014-06-28 09:02:34
阅读次数:
202
core-site.xml
name
value
Description
fs.default.name
hdfs://hadoopmaster:9000
定义HadoopMaster的URI和端口
fs.checkpoint.dir
/opt/data/hadoop1/hdfs/namesecondar...
分类:
其他好文 时间:
2014-06-28 08:42:16
阅读次数:
285
引言
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件...
分类:
其他好文 时间:
2014-06-28 07:48:49
阅读次数:
253
公司的短信平台,数据量越来越大了,需要对数据进行一些优化,下面是拆分后的数据库量参考。新开发的软件模块,必须支持分表,拆表的功能一个数据表里,不适合保存1000万以上的记录新开发的业务模块,能分表的全分表,否则,将来我们无法用其他小型数据库,例如mysql 现在系统的短信已经进行了拆表接着打算把日....
分类:
Web程序 时间:
2014-06-27 23:09:12
阅读次数:
309
在前面的文章STL之heap相关操作算法中介绍了堆的相关操作算法,由于堆的注意主要作用是用于排序,我们也知道堆排序的时间复杂度为o(nlogn),是一种不稳定的排序算法,利用堆这一数据结构,我们可以很快第获取一个大数据中最大(或最小)的k个数。同时,上篇文章中,也提出了相关heap算法的一些问题...
分类:
其他好文 时间:
2014-06-27 08:16:59
阅读次数:
171
XenServer部署实录系列之04添加共享存储作业环境XenServer服务器OS:XenServer6.2Hostname:xsr01IP:192.168.0.241/24Gateway:IP:192.168.0.1/24硬件环境:DellPowerEdgeR720NFS服务器OS:CentOS6.4Hostname:nfs01IP:192.168.0.204/24Gateway:IP:192.168.0.1/24运行软件..
分类:
其他好文 时间:
2014-06-27 06:53:58
阅读次数:
373