?? Precondition: hadoop 2.7.1 hbase 1.0.1.1 / hbase 0.98.13 192.168.1.106 ->master 192.168.1.105 ->slave / regionservers hbase部署 直接下载hbase bin文件 hbase ...
分类：
其他好文 时间：
2017-05-20 14:28:44
阅读次数：
206
1。运行mapreduce程序出错，connection to resourcemanagerretrying ...retrying ...原因是没有启动yarn或者启动失败 2.hdfs namenode -format 只是初始化了namenode的工作目录而datanode的工作目录是在da ...
分类：
其他好文 时间：
2017-05-19 17:49:36
阅读次数：
159
HBase是基于LSM树存储模型的分布式NoSQL数据库。LSM树对照普遍的B+树来说，可以获得较高随机写性能的同一时候，也能保持可靠的随机读性能（可參考这里）。在进行读请求的时候。LSM树要把多个子树（类似B+树结构）进行归并查询，对于HBase来说，这些子树就是HFile（还包含内存上的树结构M ...
分类：
其他好文 时间：
2017-05-18 11:31:18
阅读次数：
450
今天上传文件的时候发现传上去的文件为空，错误提示如上述所示，原来是IP地址改掉了对呀应etc／hosts下面的IP地址也要改变，永久改ip命令－ifconfig eth0 xxx·xxx·xxx·xxx up。改完IP即可同时ssh其他节点也可以成功 ...
分类：
Web程序 时间：
2017-05-16 23:08:12
阅读次数：
211
1.准备Linux环境 1.0先将虚拟机的网络模式选为NAT 1.1修改主机名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式： 第一种：通过Linux图形界面进行修改（强烈推荐） 进入Linux图形 ...
分类：
其他好文 时间：
2017-05-14 20:35:22
阅读次数：
224
转自：http://www.cnblogs.com/yurunmiao/p/5195754.html 目前平台使用Kafka + Flume的方式进行实时数据接入，Kafka中的数据由业务方负责写入，这些数据一部分由Spark Streaming进行流式计算；另一部分数据则经由Flume存储至HDF ...
分类：
Web程序 时间：
2017-05-14 15:26:39
阅读次数：
365
互联网系统通常会有几个特色标签：用户基数大、高并发高訪问量、海量数据存储、业务更新频繁。看似复杂的系统也不是一蹴而就，不论什么事情都会经历一个由小到大的发展过程。今天我们就来看看一个系统是怎样随着业务的扩张而不断演化的。1. 早期的系统因为业务简单，应用server和数据库都是在一台server。2 ...
分类：
其他好文 时间：
2017-05-07 12:58:30
阅读次数：
223
在之前建立的HDFS基础上，自己编写MapReduce程序，打包，并运行。 重新打包WordCount并执行 新建一个Maven项目，将示例程序中WordCount.java的复制到新项目中，使用mvn clean package打包为jar文件并复制到服务器。 WordCount.java内容如下 ...
分类：
其他好文 时间：
2017-04-28 22:08:13
阅读次数：
145
hdfs副本和基本读写。 core-site.xmlhdfs-site.xml 从/etc/hdfs1/conf下拷贝到工作空间 import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apa... ...
分类：
其他好文 时间：
2017-04-26 13:11:46
阅读次数：
1247
前言：caffe官网中安装caffe时涉及的东西比较多而杂乱，其实有些东西可以忽略掉。 步骤： mac10.12本身自带了python2.7，可以使用系统自带的python 1.安装Homebrew： 在终端中输入 ruby -e "$(curl -fsSL https://raw.githubus ...
分类：
系统相关 时间：
2017-04-20 21:24:33
阅读次数：
1716
