Shuffle过程 在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，也实现了shuffle的逻辑。 ...
分类：
其他好文 时间：
2018-02-03 16:14:08
阅读次数：
173
Java集合大致可分为：List,Set,Map,Queue List:有序，可重复 Set:无序（输出和插入顺序不一定一致），不可重复 Map:映射关系,根据key去访问value Queue:队列，先进先出(FIFO) 集合类只能存储对象 Collection体系结构 圆圈表示:interfac ...
分类：
编程语言 时间：
2018-02-02 18:37:04
阅读次数：
200
{"Version":"1","Statement":[{"Effect":"Allow","Action":["oss:ListBuckets"],"Resource":["acs:oss:*:*:*"]},{"Effect":"Allow","Action":["oss:Listobjects"],"Resource":["acs:oss:*:*:Bucket_Name"]},{"Effect
分类：
其他好文 时间：
2018-02-01 17:47:58
阅读次数：
168
简介######数据库目录/usr/local/mysql##################数据目录/data/mysql##################慢日志目录/data/slowlog##################端口号默认3306其余参数按需自行修改############安装脚本#!/bin/bashcd/usr/local/src/if[!-fmysql-5.7.21-li
分类：
数据库 时间：
2018-01-31 16:08:44
阅读次数：
306
013 S3 - 101 014 Create an S3 Bucket - Lab ...
分类：
其他好文 时间：
2018-01-30 16:54:14
阅读次数：
125
# 故障描述 有一个需求是实时分析API接口访问日志，提取token去数据库查询对应的uid，然后收集一些指标存入到hbase中。 当程序执行一会后会被系统杀死 Killed ! # 故障排查 1、CPU平均负载0.06、内存空闲29G 2、查看系统日志 /var/log/messages 提示：k... ...
分类：
其他好文 时间：
2018-01-25 19:16:19
阅读次数：
139
生成example.ini文件 import configparser config = configparser.ConfigParser() # 查找文件内容,基于字典的形式 print(config.sections()) # [] config.read('example.ini') pri ...
分类：
其他好文 时间：
2018-01-24 18:00:47
阅读次数：
146
tf.estimator模块 定义在：tensorflow/python/estimator/estimator_lib.py 估算器（Estimator）： 用于处理模型的高级工具。 export 模块：用于导出估算器的实用方法。 inputs 模块：用于创建简单的 input_fns 的实用方法 ...
分类：
其他好文 时间：
2018-01-14 21:24:05
阅读次数：
312
1. Buckets: Buckets form the top-level namespace for Amazon S3, and bucket names are global. This means that your bucket names must be unique across a ...
分类：
其他好文 时间：
2018-01-14 11:07:14
阅读次数：
777
0.作业链接 http://www.cnblogs.com/easteast/p/8125383.html 1.实验目的 1、搭建如下拓扑并连接控制器 2、下发相关流表和组表实现负载均衡 3、抓包分析验证负载均衡 2.实验步骤 1.建立以下拓扑，并连接上ODL控制器。 tupo 对应端口信息 2.利 ...
分类：
其他好文 时间：
2018-01-04 00:17:53
阅读次数：
226
