简介 https://github.com/fanqingsong/machine_learning_system_on_spark a simple machine learning system demo, for ML study. Based on machine_learning_syst ...
分类：
系统相关 时间：
2020-08-27 11:48:09
阅读次数：
63
在使用服务器的过程中经常会遇到时间突然间变快了，或是变慢了。然后自己设置同步的时候还是快了，既是同步上了时间服务器，过了一段时间后又出现不同步了。这个是因为时间同步的规律不同，而且可能因为通讯的问题所以出现了时间不同步的情况。下面小编就来给大家讲解下扬州BGP服务器如何设置时间同步，以及设置同步的频率。时间同步方法：第一步是远程扬州BGP服务器后右单击右下角的时间，找到调整时间和日期，或者直接打开
分类：
其他好文 时间：
2020-08-25 18:42:09
阅读次数：
51
在机器学习的流程中数据挖掘是重要的一环。数据挖掘是从大量数据中提取隐藏的或未知，但可能有用信息的过程。今天给大家介绍10个最强的数据挖掘工具，欢迎小伙伴们收藏起来。1.KNIMEKNIME可以完成常规的数据分析，进行数据挖掘，常见的数据挖掘算法，如回归、分类、聚类等等都有。而且它引入很多大数据组件，如Hive，Spark等等。它还通过模块化的数据流水线概念，集成了机器学习和数据挖掘的各种组件，能够
分类：
其他好文 时间：
2020-08-24 16:32:14
阅读次数：
59
1.服务器层优化1.将数据保存在内存中，保证内存读取数据设置足够大的innodb_buffer_pool_size,将数据读取到内存中。建议innodb_buffer_poll_size设置为总内存大小的3/4或者4/5怎么确定innodb_buffer_pool_size足够大。数据是从内存读取而不是硬盘？innodb_buffer_pool_pages_free为0则表示bufferpool已
分类：
数据库 时间：
2020-08-18 13:37:49
阅读次数：
66
1.flume简介 Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.安装和使用说明 ...
分类：
Web程序 时间：
2020-08-13 22:07:34
阅读次数：
83
1.mapReduce 的shuffle 过程 ： https://www.iteye.com/blog/langyu-992916 2.spark streaming : https://www.jianshu.com/p/0691204282ab CAS的理解? https://www.jian ...
分类：
其他好文 时间：
2020-08-13 12:10:50
阅读次数：
53
一、概述 当CDH平台开启kerberos后，需要kdc服务验证通过和kerberos协议验证通过才可以。如果将spark程序部署在CDH 机器上，直接在生成keytab并使用principal登录kerberos即可。 如果当spark应用程序部署在第三方机器上时，还需要处理krb5.conf注册 ...
分类：
其他好文 时间：
2020-08-13 12:07:11
阅读次数：
88
Q：你总共需要上 n 门课，课程编号依次为 0 到 n-1 。 有的课会有直接的先修课程，比如如果想上课程 0 ，你必须先上课程 1 ，那么会以 [1,0] 数对的形式给出先修课程数对。 给你课程总数 n 和一个直接先修课程数对列表 prerequisite 和一个查询对列表 queries 。 对 ...
分类：
其他好文 时间：
2020-08-08 22:33:31
阅读次数：
90
1.定义 RDD是只读的记录分区的集合，是一种基于工作集的应用抽象 创建RDD的方式有两种： 从驱动程序中的集合中并行创建 从外部数据集创建 2.底层存储原理 每个RDD的数据以Block的形式存储在多个机器上，对于每个Executor都会启动一个BlockManagerSlave，并且管理一部分B ...
分类：
其他好文 时间：
2020-08-08 00:33:32
阅读次数：
73
一. SparkSQL简介 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 Dremel > Drill(Apache) >Impala(Cloudrea) Presto(Hotonworks) Hive > Shark(对Hive的模仿，区别在 ...
分类：
数据库 时间：
2020-08-07 21:45:52
阅读次数：
79
