简介： Sphinx 是一款基于SQL的高性能全文检索引擎 快速创建索引：3分钟左右即可创建近100万条记录的索引，并且采用了增量索引的方式，重建索引非常迅速。 闪电般的检索速度：尽管是1千万条的大数据量，查询数据的速度也在毫秒级以上，2-4G的文本量中平均查询速度不到0.1秒。 为很多脚本语言设计 ...
分类：
其他好文 时间：
2020-07-05 19:44:35
阅读次数：
121
Apache概述 ''' Apache HTTPD Server 简称 Apache，是 Apache 软件基金会的一个开源的网页服务器， 可以在大多数计算机操作系统中运行，由于其多平台和安全性被广泛使用， 是最流行的 Web 服务器端软件之一。它快速、可靠并且可通过简单的 API 扩展，将 Per ...
分类：
Web程序 时间：
2020-07-05 19:25:06
阅读次数：
72
?大数据的概念 大数据 (BigData) :指无法在一 定时间范围内用常规软件 工具进行捕捉、 管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决，海量数据的存储和海量数据的分析计算问题。 大数据特点 大量、高速、多样 ...
分类：
其他好文 时间：
2020-07-05 19:03:04
阅读次数：
87
1、选取最适用的字段属性 MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的 ...
分类：
数据库 时间：
2020-07-05 19:02:10
阅读次数：
61
Google的三篇论文，Google File System，MapReduce以及Big Table可以说是整个大数据领域的三驾马车，这里，我们简单介绍下这三驾马车基本都是干哈的，重点解读下Bigtable: A Distributed Storage System for Structured ...
分类：
其他好文 时间：
2020-07-05 17:38:34
阅读次数：
68
VirtualBox虚拟机文件默认存放位置在C盘，hadoop搭建完全分布需要多建立几个虚拟机，C盘就直接炸了，所以先改个默认路径吧。 1.选择全局设定 2.选择你想把虚拟机vdi存放的路径 重点:虚拟机文件迁移方法 1.先把你的某个虚拟机的整个文件夹拷贝到你的目录下去，比如这是我拷过来的文件夹。 ...
分类：
其他好文 时间：
2020-07-05 15:40:50
阅读次数：
90
==背景== 阿里云ECS服务器提示“ZooKeeper未授权访问高危风险” ==相关组件及版本== Linux：Centos 8.0 Zookeeper：3.5.6 Hadoop：2.8.3 Flink：1.10.0 ==Zookeeper ACL介绍== 网上随便找一个网站看看就应该可以了解了， ...
分类：
其他好文 时间：
2020-07-05 15:23:42
阅读次数：
207
EDR架构及部署： 硬件：终端大数据分析平台 软件：天擎客户端、天擎控制台 授权：威胁情报 EDR数据采集及处理流程： 行为影响：终端进程、文件操作、注册表修改、进程注入、账户变更、文件解压 边界传输：IM传输、浏览器传输、邮件附件、下载工具、U盘传输 网络请求：IP访问、DNS访问 EDR终端处置 ...
分类：
其他好文 时间：
2020-07-05 15:19:01
阅读次数：
512
##1. 引入jar包时排除掉jar包冲突 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop-version}</version> <exc ...
分类：
其他好文 时间：
2020-07-05 13:24:51
阅读次数：
48
数据科学与大数据技术专业培养方案 一、专业简介 数据科学与大数据技术专业是2015年教育部审批的全国首批该领域本科专业。瞄准社会各领域对大数据高级应用型人才的需求，本专业致力于从数据科学基本理论以及数据架构、数据分析、数据应用三个层面，培养具有扎实信息科学、大数据科学知识，熟练掌握大数据采集、大数据 ...
分类：
其他好文 时间：
2020-07-05 10:44:06
阅读次数：
107
