张耀的博客 徐大神博客 品茶大神博客 hadoop大神博客 opesn Elastic 中国社区官方博客 IT技术电子书 ...
分类:
其他好文 时间:
2020-06-16 13:05:02
阅读次数:
47
1.政务平台大数据:洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。 2.疾控管理大数据:Google流感趋势研究中心对搜索关键词分析预测了禽流感的散布。 3.趋势分析大数据:统计学家内特·西尔弗利用大数据成功预测了2012美国选举结果。 4.规划建设大数据:麻省理工学院用建筑材质数据和电 ...
分类:
其他好文 时间:
2020-06-16 12:48:03
阅读次数:
104
yarn 一共有3个类型的调度器:FIFO调度器、容量调度器、公平调度器。 1,FIFO调度器。先进先出,队列中同一时间只有一个任务在运行。该任务独占整个集群的资源。 2,容量调度器。多队列,每个队列内部先进先出,同一个队列同时间只有一个任务在运行,任务的并行度为队列的个数。 3,公平调度器。同个队 ...
分类:
其他好文 时间:
2020-06-16 11:35:39
阅读次数:
107
互联网时代中想要企业更好的发展,利用好从互联网所获取到的大量数据是至关重要的一点,互联网时代又被称为大数据时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术,是指从各种各样类型的数据中,快速获得有价值信息的能力。 适用于大数据的技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网,和可扩展的存储
分类:
其他好文 时间:
2020-06-16 11:32:17
阅读次数:
411
服务器层面优化(了解) 将数据保存在内存中,保证从内存读取数据 设置足够大的innodb_buffer_pool_size,将数据读取到内存中。 建议innodb_buffer_pool_size设置为总内存大小的3/4或者4/5。 怎样确定innodb_buffer_pool_size足够大,数据 ...
分类:
数据库 时间:
2020-06-16 10:25:15
阅读次数:
83
物理层有几个重要的计算公式,都与传输速率、波特率、带宽有关。主要围绕数字数据调制技术展开。下面用两个经典题目进行介绍。 ...
分类:
其他好文 时间:
2020-06-16 01:12:28
阅读次数:
164
1. flink简介 1.1 什么是flink Apache Flink是一个分布式大数据处理引擎,可以对有限数据流(如离线数据)和无限流数据及逆行有状态计算(不太懂)。可以部署在各种集群环境,对各种大小的数据规模进行快速计算。 1.2 flink的架构体系 具体见文档 2. flink的安装 修改 ...
分类:
其他好文 时间:
2020-06-16 00:38:14
阅读次数:
46
元数据更新过程? MapReduce的Shuffle过程? HDFS的读的流程? HDFS写的流程? 如何将hadoop配置文件从一台机器同步到另一台机器上? scp -r hadoop-2.7.3 hpsk@192.168.134.222:/opt/modules/ 如何终止yarn上正在运行的程 ...
分类:
其他好文 时间:
2020-06-15 23:20:15
阅读次数:
144
大数据的出现给许多企业对寻找未来的方向带来了巨大的帮助,许多企业开始关注大数据,现在很多人开始关注大数据,大数据可以给每个人带来帮助,但你知道大数据的特点和功能吗? 大数据的特性都有哪些 一、体量(Volume) 大数据由大量数据组成,从几个TB到几个ZB。这些数据可能会分布在许多地方,通常是在一些连入因特网的计算网络中。一般来说,凡是满足大数据的几个V的条件的数据都会因为太大而无法被单
分类:
其他好文 时间:
2020-06-15 22:59:15
阅读次数:
405
https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L2.pdf https://drive.google.com/drive/folders/13_vsxSIEU9TDg1TCjYEwOidh0x3dU6es 第二节课花了40分钟讲,如果dataNode ...
分类:
其他好文 时间:
2020-06-15 18:02:14
阅读次数:
50