本文主要介绍两部分内容:C#中使用Thrift简介用Java创建一个服务端,用C#创建一个客户端通过thrift与其交互。其中使用到RPC学习----Thrift快速入门和Java简单示例,这篇文章创建的Java服务端。一、C#中使用Thrift简介关于rpc的简介，可以参考：RPC学习----Th...
分类：
编程语言 时间：
2014-09-01 00:15:42
阅读次数：
306
网络爬虫架构在Nutch+Hadoop之上，是一个典型的分布式离线批量处理架构，有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取，所以，需要一个分布式搜索引擎，用来对网络...
分类：
其他好文 时间：
2014-08-30 23:13:50
阅读次数：
434
http://blog.fens.me/linux-redis-install/在Ubuntu中安装RedisR利剑NoSQL系列文章，主要介绍通过R语言连接使用nosql数据库。涉及的NoSQL产品，包括Redis,MongoDB,HBase,Hive,Cassandra,Neo4j。希望通过我的...
分类：
其他好文 时间：
2014-08-30 17:43:49
阅读次数：
328
用了这么久的thrift，一直不知道如何在接收端打印发送端的ip。...
分类：
其他好文 时间：
2014-08-30 12:41:14
阅读次数：
1408
什么是hbasehbase是一个高可靠性、高性能、高吞吐量、面向列、可伸缩的分布式数据库，设计的最初目的是用来解决关系型数据库在处理海量数据时的局限性。hbase特性海量数据（TB\PB）高吞吐量高性能（海量数据中实现高效随机读取）可伸缩能够同时处理结构化和非结构化的数据不需要拥有传统数据库所具备的...
分类：
其他好文 时间：
2014-08-29 17:58:58
阅读次数：
236
1、region热点:
开始会不断往一个region写,可以预划分region
在rowkey加哈希前缀 对region server数量取余
2、memstore提高写性能,blockcache提高读性能,看需求调整
3、使用bloomfilter,如果大多是scan顺序读，可将block设大些，默认块大小是64K,可以设为128
4、设计好rowkey
5、关闭major comp...
分类：
其他好文 时间：
2014-08-28 16:58:40
阅读次数：
176
1.开启Hbase的Thrift服务在Hbase的master上运行：hbase-daemon.sh start thrift -threadpool1.下载Thrift 0.7.0的源码和代码生成工具（姑且这么叫）从上面提供的Thrift下载页面中的目录里分别下载代码生成工具：thrift-0.7...
分类：
其他好文 时间：
2014-08-28 11:16:09
阅读次数：
408
一般操作查看服务器状态status查看hbase版本versionDDL操作创建表create 'member','member_id','address','info'创建了3个列族，分别是member_id, address, info知识点回顾：cf是schema的一部分，而column不是。...
分类：
其他好文 时间：
2014-08-27 16:30:58
阅读次数：
225
关于MemStore的补充在通过HStore.add向store中加入?一个kv时，首先把数据写入到memstore中。这一点没有什么说明；publiclongadd(finalKeyValue kv) {lock.readLock().lock();try{returnthis.memstore....
分类：
其他好文 时间：
2014-08-27 12:50:57
阅读次数：
235
