准备工作1.1下载最新源码，https://github.com/apache/lucene-solr1.2编译，按照说明，使用ant进行编译(我使用了anteclipse)1.3.将编译后的文件导入到eclipse，sts或者idea中2.新建测试类publicvoidtest()throwsIOException,ParseException{Analyzeranalyzer=newNGram
分类：
编程语言 时间：
2020-12-04 11:10:55
阅读次数：
5
程序的发展，需要引入集中配置：随着程序功能的日益复杂，程序的配置日益增多：各种功能的开关、参数的配置、服务器的地址……并且对配置的期望也越来越高，配置修改后实时生效，灰度发布，分环境、分集群管理配置，完善的权限、审核机制……并且随着采用分布式的开发模式，项目之间的相互引用随着服务的不断增多，相互之间的调用复杂度成指数升高，每次投产或者上线新的项目时苦不堪言，因此需要引用配置中心治理。有哪些开源配置
分类：
其他好文 时间：
2020-12-04 11:10:40
阅读次数：
5
什么是Hive？ Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将SQL转化成MapReduce程序。 1、Hive 处理的数据存储在HDFS； 2、Hiv ...
分类：
其他好文 时间：
2020-12-03 11:43:46
阅读次数：
3
HBase读写流程 在网上找了一张图，这个画的比较简单，就拿这个图来说吧。 写流程 1.当Client发起一个Put请求时，首先访问Zookeeper获取hbase:meta表。 2.从hbase:meta表查询即将写入数据的Region位置。 3.Client向目标RegionServer发出写命 ...
分类：
其他好文 时间：
2020-12-02 12:39:17
阅读次数：
7
zookeeper技术介绍[python书籍福利]Zookeeper技术介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和
分类：
编程语言 时间：
2020-12-02 11:57:17
阅读次数：
3
首先还是修改flink安装目录的conf目录下flink-conf.yaml文件，找到如下的三个配置，把原本的注释放开，然后配置自己的hdfs地址和zookeeper地址。 需要注意的是，我这里的hdfs是之前的ha集群，mycluster是我的hdfs的集群名，至于后边的内容会在hdfs中创建路径 ...
分类：
其他好文 时间：
2020-12-01 12:17:20
阅读次数：
7
>.ClouderaManager功能 1.1>.管理监控集群主机（主要监控硬件和软件的信息）； 1.2>.同一管理配置（主要是针对服务，比如hdfs，hbase等等）； 1.3>.管理维护Hadoop平台系统； 2>.ClouderaManager的一些常见名词 2.1>.主机-host 2.2> ...
分类：
其他好文 时间：
2020-12-01 11:54:36
阅读次数：
3
主要内容 1. 协同过滤思想2. 推荐系统架构3. 推荐系统流程4. 推荐系统处理数据流程。5. python 文件预处理 Hive 数据。6. dubbo 服务使用。 一、协同过滤 协同过滤（Collaborative Filtering）技术，是推荐系统中应用最为广泛的技术之一，协同过滤算法主要 ...
分类：
其他好文 时间：
2020-11-30 15:32:24
阅读次数：
7
1.任务： 列出HBase所有的表的相关信息，例如表名 describe 在终端打印出指定的表的所有记录数据 scan 向已经创建好的表添加和删除指定的列族或列 put 清空指定的表的所有记录数据 delete 统计表的行数 count 2.关系型数据库中的表和数据（教材P92上)，要求将其转换为适 ...
分类：
其他好文 时间：
2020-11-26 14:35:57
阅读次数：
4
1.下载zookeeper-3.4.10.tar.gz 2.压缩zookeeper-3.4.10.tar.gz 3.删除文件 rm -r data logs 4.创建目录 mkdir zkData /opt/module/zookeeper-3.4.10/zkData 5.修改配置文件 zookee ...
分类：
其他好文 时间：
2020-11-26 14:18:21
阅读次数：
2
