之前我们讲解Nginx命令行的时候，可以看到Nginx停止有两种方式，分别是nginx-squit和nginx-sstop，其中stop是指立即停止Nginx，而quit是指优雅的关闭Nginx，对应的信号也是同样的，还有我们之前提到的reload和热升级这样的过程中都涉及到了优雅的停止Nginx。那所谓的优雅的停止Nginx究竟是怎样一个过程呢，接下来让我一起来学习下吧。何为优雅的关闭？所谓的优
分类：
系统相关 时间：
2020-08-28 11:49:27
阅读次数：
70
在之前做过Nginx热升级的演示，他能保证nginx在不停止服务的情况下更换他的binary文件，这个功能非常有用，但我们在执行Nginx的binary文件升级过程中，还是会遇到很多问题，比如老的worker进程一直退不掉或者新的worker进程升级以后出现问题需要考虑回滚，或者升级新的Nginx文件以后会发现预期的功能或者指向的配置文件出现了错误，下面我们来看下看热升级的流程是怎样进行的？热升级
分类：
其他好文 时间：
2020-08-27 13:12:38
阅读次数：
45
简介 https://github.com/fanqingsong/machine_learning_system_on_spark a simple machine learning system demo, for ML study. Based on machine_learning_syst ...
分类：
系统相关 时间：
2020-08-27 11:48:09
阅读次数：
63
在机器学习的流程中数据挖掘是重要的一环。数据挖掘是从大量数据中提取隐藏的或未知，但可能有用信息的过程。今天给大家介绍10个最强的数据挖掘工具，欢迎小伙伴们收藏起来。1.KNIMEKNIME可以完成常规的数据分析，进行数据挖掘，常见的数据挖掘算法，如回归、分类、聚类等等都有。而且它引入很多大数据组件，如Hive，Spark等等。它还通过模块化的数据流水线概念，集成了机器学习和数据挖掘的各种组件，能够
分类：
其他好文 时间：
2020-08-24 16:32:14
阅读次数：
59
我们知道，单个线程计算是串行的，只有等上一个任务结束之后，才能执行下一个任务，所以执行效率是比较低的。那么，如果用多线程执行任务，就可以在单位时间内执行更多的任务，而Master-Worker就是多线程并行计算的一种实现方式。它的思想是，启动两个进程协同工作：Master和Worker进程。Master负责任务的接收和分配，Worker负责具体的子任务执行。每个Worker执行完任务之后把结果返回
分类：
其他好文 时间：
2020-08-17 16:40:21
阅读次数：
52
# vim /usr/local/nginx/conf/nginx.conf user dywww dywww; worker_processes auto; error_log /dydata/wwwlogs/error_nginx.log crit; pid /var/run/nginx.pid ...
分类：
其他好文 时间：
2020-08-13 22:17:03
阅读次数：
61
1.mapReduce 的shuffle 过程 ： https://www.iteye.com/blog/langyu-992916 2.spark streaming : https://www.jianshu.com/p/0691204282ab CAS的理解? https://www.jian ...
分类：
其他好文 时间：
2020-08-13 12:10:50
阅读次数：
53
一、概述 当CDH平台开启kerberos后，需要kdc服务验证通过和kerberos协议验证通过才可以。如果将spark程序部署在CDH 机器上，直接在生成keytab并使用principal登录kerberos即可。 如果当spark应用程序部署在第三方机器上时，还需要处理krb5.conf注册 ...
分类：
其他好文 时间：
2020-08-13 12:07:11
阅读次数：
88
1.定义 RDD是只读的记录分区的集合，是一种基于工作集的应用抽象 创建RDD的方式有两种： 从驱动程序中的集合中并行创建 从外部数据集创建 2.底层存储原理 每个RDD的数据以Block的形式存储在多个机器上，对于每个Executor都会启动一个BlockManagerSlave，并且管理一部分B ...
分类：
其他好文 时间：
2020-08-08 00:33:32
阅读次数：
73
一. SparkSQL简介 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 Dremel > Drill(Apache) >Impala(Cloudrea) Presto(Hotonworks) Hive > Shark(对Hive的模仿，区别在 ...
分类：
数据库 时间：
2020-08-07 21:45:52
阅读次数：
79
