Hadoop的背景起源二：MapReduce 一、什么是大数据，本质？ （1）数据的存储：分布式文件系统（分布式存储） > HDFS: Hadoop Distributed File System （2）数据的计算：分布式计算 二、如何解决大数据的计算？分布式计算 （1）什么是PageRank(Ma ...
分类：
其他好文 时间：
2019-07-12 11:24:48
阅读次数：
91
import heapq class TopK: def __init__(self, iterable, k): self.minheap = [] self.capacity = k self.iterable = iterable def push(self, val): if len(sel... ...
分类：
编程语言 时间：
2019-07-10 22:54:32
阅读次数：
298
说明：这里是Linux服务综合搭建文章的一部分，本文可以作为单独搭建Tomcat并整合httpd的参考。如果需要查看相关软件版本和主机配置要求，请根据目录自行查看。Linux服务综合搭建的文章目录 8、rhel7 JAVA web环境搭建（使用Tomcat8整合httpd） 8.1 单独安装Tomc ...
分类：
编程语言 时间：
2019-07-10 12:20:48
阅读次数：
216
一、HDFS是一个分布式文件系统 体系架构： hdfs主要包含了3部分，namenode、datanode和secondaryNameNode namenode主要作用和运行方式： 1）管理hdfs的元数据信息，文件名字，大小，切成几块，有几个副本，切成块和副本分别存储在datanode的位置，块i ...
分类：
其他好文 时间：
2019-07-10 12:20:30
阅读次数：
130
大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。大数据基础知识往往决定了开发人员未来的成长高度，所以要重视基础知识的学习。大数据平台知识：是大数据开发的基础，在学习期间，往往以搭建Hadoop、Spark平台为主，一方面Hadoop对机器的硬件要求不高，另一方面Hadoop的使用也非常
分类：
其他好文 时间：
2019-07-07 12:42:40
阅读次数：
88
Tomcat8.5--出现如下乱码： 修改，apache-tomcat-8.5.42\conf\logging.properties下面的 java.util.logging.ConsoleHandler.encoding = UTF-8 改为 java.util.logging.ConsoleHa ...
分类：
其他好文 时间：
2019-07-07 09:36:57
阅读次数：
76
hive中order by、distribute by、sort by和cluster by的区别和联系 order by order by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样，它只在一个reduce中进行所以数据量特别大的时候效率非常低。 而且当 ...
分类：
其他好文 时间：
2019-07-05 20:56:06
阅读次数：
82
nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器，作为HTTP服务器的后起之秀，相比较于web服务器软件老大哥Apache有着很大的改进地方，主要在性能方面NGINX占用的系统资源更少，支持更多的并发连接数（特别是在静态小文件场景下），达到更高的访问效率。在功能上NGINX不但是个优秀的web服务器软件，还具有反向代理负载均衡，相当于LVS，Haproxy。缓存服务器相当于S
分类：
其他好文 时间：
2019-07-03 16:46:28
阅读次数：
129
本文仅是自己看书、学习过程中的个人总结，刚接触流式，视野面比较窄，不喜勿喷，欢迎评论交流。 1、为什么是流式？ 为什么是流式而不是流式系统这样的词语？流式系统在我的印象中是相对批处理系统而言的，用来处理流数据，实现数据处理功能的一个系统，而流式一词提醒我要以数据产生的方式去看待数据和以及处理过程，即 ...
分类：
其他好文 时间：
2019-07-03 00:21:41
阅读次数：
73
实际生产环境中，大多系统都是红帽系列，那么如何使用二进制文件方式安装kubernetes集群，跟我一步步学习在centos系统上部署kubernetes集群！
分类：
Web程序 时间：
2019-07-01 14:34:07
阅读次数：
134
