本文背景 本文主要讨论顺序答题环节,如果题库数据量过大如何应对 本文内容 具体讨论一个题库有3000道题目,如何做到顺序刷题 (方案1)设置一个起始题目的标志数字,做一题,标志数字+1 第一次进入顺序答题模块,从题库的第1题开始,展示1-100题,比如从第1题做到第10题,下次再进入顺序答题模块,从 ...
分类:
微信 时间:
2020-07-18 13:35:22
阅读次数:
92
一、Java的基本类型 java基本类型分为3类,8种。 字符类型:char 布尔类型:boolean 数值类型:byte、short、int、long、float、double byte:8位,最大存储数据量是255,存放的数据范围是-128~127之间。最小值:Byte.MIN_VALUE,最大 ...
分类:
编程语言 时间:
2020-07-17 19:36:11
阅读次数:
84
1.完成环境准备 a.开启hadoop服务 b.开启Mysql服务进入HIVE命令行界面 c.开启zookeeper服务 d.开启hbase服务进入命令行界面 ...
分类:
其他好文 时间:
2020-07-17 11:26:18
阅读次数:
54
1 InputFormat数据输入 1.1 切片与MapTask并行度决定机制 1.问题引出 MapTask的并行度决定Map阶段的任务处理并发度,进而影响到整个Job的处理速度。 思考:1G的数据,启动8个MapTask,可以提高集群的并发处理能力。那么1K的数据,也启动8个MapTask,会提高 ...
分类:
其他好文 时间:
2020-07-17 09:35:30
阅读次数:
65
1.5 CombineTextInputFormat案例实操 1.需求 将输入的大量小文件合并成一个切片统一处理。 (1)输入数据 准备4个小文件 (2)期望 期望一个切片处理4个文件 2.实现过程 (1)不做任何处理,运行1.6节的WordCount案例程序,观察切片个数为4。 (2)在Wordc ...
分类:
其他好文 时间:
2020-07-17 09:33:01
阅读次数:
73
分页 如果需要更多资料点击下方图片加好友领取?(注明来意) &ems
分类:
其他好文 时间:
2020-07-17 01:17:41
阅读次数:
96
不知不觉,2020年已经过去一半了,最近突然反应过来自己也看了不少文献资料了,就想着把看过的文献和觉得比较好的书籍做一个总结,基本都是大数据分布式领域的,回顾自己学识的同时,也给想从事或这个领域的小伙伴一些参考 ...
分类:
其他好文 时间:
2020-07-16 21:37:26
阅读次数:
79
数据可视化的本质是视觉对话,数据可视化将数据分析技术与图形技术结合,清晰有效地将分析结果信息进行解读和传达。大数据可视化是进行各种大数据分析解决的最重要组成部分之一。一旦原始数据流被以图像形式表示时,以此做决策就变得容易多了。为了满足并超越客户的期望,大数据可视化工具应该具备这些特征:1·能够处理不同种类型的传入数据2·能够应用不同种类的过滤器来调整结果3·能够在分析过程中与数据集进行交互4·能够
分类:
其他好文 时间:
2020-07-16 12:16:59
阅读次数:
387
大数据时代随之而来的就是并发问题。Java开发本身提供了关于锁的操作。我们知道的有Synchronized。 这个是JVM层面的锁。操作简单 Lock的由来 因为Synchronized简单所以不可控制,或者说不是很灵活。Synchronized是已块进行执行加锁的。这个时候我们需要通过Lock进行 ...
分类:
编程语言 时间:
2020-07-16 11:46:11
阅读次数:
56
统计学有两大主要分支,分别是描述性统计学和推断统计学。描述性统计学用于描述和概括数据的特征以及绘制各类统计图表。总体数据,往往因为数据量太大而难以被获取,所以就有了通过较小的样本数据推测总体特性的推断统计学。值得一提的是现今火热的“大数据”一词并不仅仅是指数据量大,在《大数据时代》一书中作者舍恩伯格 ...
分类:
其他好文 时间:
2020-07-15 23:53:30
阅读次数:
116