Spark 分组取Top N运算 大数据处理中，对数据分组后，取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类：
其他好文 时间：
2020-07-06 16:11:05
阅读次数：
78
MySQL实验 内连接优化order by+limit 以及添加索引再次改进 在进行子查询优化双参数limit时我萌生了测试更加符合实际生产需要的ORDER BY + LIMIT的想法，或许我们也可以对ORDER BY + LIMIT 也进行适当优化 实验准备 使用MySQL官方的大数据库emplo ...
分类：
数据库 时间：
2020-07-06 16:06:18
阅读次数：
56
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的，基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序 MapR ...
分类：
其他好文 时间：
2020-07-06 15:47:59
阅读次数：
67
简介： Sphinx 是一款基于SQL的高性能全文检索引擎 快速创建索引：3分钟左右即可创建近100万条记录的索引，并且采用了增量索引的方式，重建索引非常迅速。 闪电般的检索速度：尽管是1千万条的大数据量，查询数据的速度也在毫秒级以上，2-4G的文本量中平均查询速度不到0.1秒。 为很多脚本语言设计 ...
分类：
其他好文 时间：
2020-07-05 19:44:35
阅读次数：
121
?大数据的概念 大数据 (BigData) :指无法在一 定时间范围内用常规软件 工具进行捕捉、 管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决，海量数据的存储和海量数据的分析计算问题。 大数据特点 大量、高速、多样 ...
分类：
其他好文 时间：
2020-07-05 19:03:04
阅读次数：
87
1、选取最适用的字段属性 MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的 ...
分类：
数据库 时间：
2020-07-05 19:02:10
阅读次数：
61
Google的三篇论文，Google File System，MapReduce以及Big Table可以说是整个大数据领域的三驾马车，这里，我们简单介绍下这三驾马车基本都是干哈的，重点解读下Bigtable: A Distributed Storage System for Structured ...
分类：
其他好文 时间：
2020-07-05 17:38:34
阅读次数：
68
EDR架构及部署： 硬件：终端大数据分析平台 软件：天擎客户端、天擎控制台 授权：威胁情报 EDR数据采集及处理流程： 行为影响：终端进程、文件操作、注册表修改、进程注入、账户变更、文件解压 边界传输：IM传输、浏览器传输、邮件附件、下载工具、U盘传输 网络请求：IP访问、DNS访问 EDR终端处置 ...
分类：
其他好文 时间：
2020-07-05 15:19:01
阅读次数：
512
数据科学与大数据技术专业培养方案 一、专业简介 数据科学与大数据技术专业是2015年教育部审批的全国首批该领域本科专业。瞄准社会各领域对大数据高级应用型人才的需求，本专业致力于从数据科学基本理论以及数据架构、数据分析、数据应用三个层面，培养具有扎实信息科学、大数据科学知识，熟练掌握大数据采集、大数据 ...
分类：
其他好文 时间：
2020-07-05 10:44:06
阅读次数：
107
一.什么是数据作用域 数据作用域，Scope，也就是指代数据共享的范围，数据存储在合适的范围，在需要的地方取到 二.JSP四大数据作用域 作用域分为四种，分别为： page 在当前页面有效(仅用于JSP中) request 在当前请求中有效 session 在当前会话中有效 application ...
分类：
Web程序 时间：
2020-07-04 20:46:42
阅读次数：
89
