“ 吾有三剑，唯子所择；皆不能杀人，且先言其状。一曰含光，视之不可见，运之不知有。其所触也，泯然无际，经物而物不觉。二曰承影，将旦昧爽之交，日夕昏明之际，北面而察之，淡淡焉若有物存，莫识其状。其所触也，窃窃然有声，经物而物不疾也。三曰宵练，方昼则见影而不见光，方夜见光而不见形。其触物也，騞然而过，随 ...
分类：
其他好文 时间：
2018-10-04 16:01:39
阅读次数：
204
全文索引的概念：搜索引擎如何工作？ 总结就是一句话：直接看倒排索引图。 总结： 词组包含所有存在行的唯一标识。 信息检索已经发展的非常成熟了，应该所有人都不陌生。我有幸这几年接触过并且实际做过一些搜索引擎开发的工作，特此总结并分享给大家。实际上，一个成熟的搜索引擎是想当复杂的，比如百度的，就分ngi ...
分类：
其他好文 时间：
2018-08-30 20:00:20
阅读次数：
151
1.简介 Elasticsearch，分布式，高性能，高可用，可伸缩的搜索和分析系统 2.什么是全文检索和Lucene？ （1）全文检索，倒排索引（2）lucene，就是一个jar包，里面包含了封装好的各种建立倒排索引，以及进行搜索的代码，包括各种算法。我们就用java开发的时候，引入lucene ...
分类：
其他好文 时间：
2018-08-30 14:31:25
阅读次数：
222
1、第一阶段MapReduce任务程序package cn.itcast.bigdata.index;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import o
分类：
其他好文 时间：
2018-08-04 20:29:08
阅读次数：
147
package cn.sjq.bigdata.inverted.index;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache
分类：
其他好文 时间：
2018-08-03 11:30:58
阅读次数：
217
索引原理 全文检索技术由来已久，绝大多数都基于倒排索引来做，曾经也有过一些其他方案如文件指纹。倒排索引，顾名思义，它相反于一篇文章包含了哪些词，它从词出发，记载了这个词在哪些文档中出现过，由两部分组成——词典和倒排表。 其中词典结构尤为重要，有很多种词典结构，各有各的优缺点，最简单如排序数组，通过二 ...
分类：
Web程序 时间：
2018-08-02 23:02:07
阅读次数：
250
对文本搜索引擎的倒排索引(数据结构和算法)、评分系统、分词系统都清楚掌握之后，本人对数值索引和搜索一直有很大的兴趣，最近对Lucene对数值索引和范围搜索做了些学习，并将主要内容整理如下： 1. Lucene不直接支持数值（以及范围）的搜索，数值必须转换为字符（串）； 2. Lucene搜索数值的初 ...
分类：
Web程序 时间：
2018-07-24 17:59:40
阅读次数：
206
学习总结： 学习过程：今天上午老师对之前讲过的知识做了考察，在倒排索引和hash函数封面存在不懂得，其他大概已经理解其本身的原理。下午学了hive数据库，并且建立了与mysql的链接，可以互传数据表，其他就是些hql语句查询按要求输出的结果。 总结：整体来说今天是对之前的知识进行了梳理，在HIVE新 ...
分类：
其他好文 时间：
2018-07-19 21:09:47
阅读次数：
162
在上一篇博客中我们讲解了MapReduce的原理以及map和reduce的作用，相信你理解了他们的原理，今天讲解的是mapreduce 的另一个就是倒排索引。 什么是倒排索引呢？倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不 ...
分类：
其他好文 时间：
2018-07-19 13:47:24
阅读次数：
124
学习总结： 学习过程：今天上午老师对倒排索引做了详细介绍，后来进行了用户行为日志分析，分析完之后先是用github上现有的user包进行对单条信息进行拆分信息。之后是对其优化运用java代码和MapReduce运行数据。 总结：整体来说对idea这个编程软件有了更好的理解，能够熟练的调用自己需要的包 ...
分类：
其他好文 时间：
2018-07-18 19:12:21
阅读次数：
156
