搭建集群： SPARK_WORKER-CORES : 当计算机是32核双线程的时候，需要指定SPARK_WORKER_CORES的个数为64个 SPARK_WORKER_MEMORY : 任务提交： ./spark-submit --master node:port --executor-cores ...
分类：
其他好文 时间：
2019-08-24 09:15:58
阅读次数：
155
进程：计算机进行资源分配调度的基本单位。且运行在自己内存空间内的独立执行体（一个应用程序就是运行在机器上的一个进程）线程：进程内部共享进程内存资源的多个执行体（当一个线程进行IO时，换另一个线程执行） 并行：同一个程序在某个时间点同时运行在多个处理器核心上。并发：同一时间段内，多个线程执行任务（提高 ...
分类：
其他好文 时间：
2019-08-21 20:08:05
阅读次数：
112
待完善CentOS7测试哈哈#!/bin/bash#**************************************************************#Author:哈啰#QQ:599503252#Date:2019-08-08#FileName:install_httpd.sh#URL:https://blog.51cto.com/14012942#Descriptio
分类：
Web程序 时间：
2019-08-08 18:47:32
阅读次数：
144
nginx配置文档 Docs4dev 腾讯云nginx 教程 http://shouce.jb51.net/nginx/left.html http://www.nginx.cn/nginx-how-to Nginx文章 useradd -s /sbin/nologin nginx yum inst ...
分类：
其他好文 时间：
2019-08-06 18:21:31
阅读次数：
121
卸载Xcode 安装 AppStore直接下载安装 ...
分类：
其他好文 时间：
2019-07-27 09:38:31
阅读次数：
294
Executor在集群中分散启动，有利于task计算的数据本地化 默认情况下（提交任务的时候没有设置--executor-cores选项），每一个Worker为当前的Application启动一个Executor,这个Executor会使用这个Worker的所有的cores和1G内存 如果想在Wor ...
分类：
其他好文 时间：
2019-07-24 22:55:12
阅读次数：
189
1.Zookeeper的数据模型 (1) Zookeeper的数据模型，类似于树形结构： (2) Zookeeper的每一个节点成为称为Znode，主要用来存储数据。 (3) Znode的引用方式是路径引用，例如： /core/UserCoreService ...
分类：
其他好文 时间：
2019-07-16 14:04:00
阅读次数：
155
tensorflow执行KMeans算法。 代码如下： from __future__ import print_function?# Ignore all GPUs, tf random forest does not benefit from it.import os?import numpy ...
分类：
编程语言 时间：
2019-07-14 09:30:53
阅读次数：
125
啥也不说了，就是个小练习#!/usr/bin/env python# coding=utf-8import pygameimport sysimport random# 全局定义，screen的长和宽SCREEN_X = 600SCREEN_Y = 600# 蛇类# 点以25为单位class Sna... ...
分类：
编程语言 时间：
2019-07-06 19:01:53
阅读次数：
138
[TOC] CPU：Cores, and Hyper Threading 超线程（Hyper Threading?） 超线程是Intel最早提出一项技术，最早出现在2002年的Pentium4上。单个采用超线程的CPU对于操作系统来说就像有两个逻辑CPU，为此P4处理器需要多加入一个Logical ...
分类：
其他好文 时间：
2019-07-03 17:00:49
阅读次数：
113
