想在本机测试一下,spark read write to s3 cloud storeage. minio是一个不错的选择，轻量，兼容aws s3协议。 可以使用docker来做。 #拉取镜像 docker pull minio/minio#启动容器docker run -p 9000:9000 - ...
分类：
其他好文 时间：
2020-01-05 16:01:59
阅读次数：
117
分布式存储的应用场景相对于其存储接口，现在流行分为三种: 对象存储: 也就是通常意义的键值存储，其接口就是简单的GET、PUT、DEL和其他扩展，如七牛、又拍、Swift、S3 块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在，这种接口需要实现Linux的Blo ...
分类：
其他好文 时间：
2020-01-04 14:09:04
阅读次数：
87
import requests import webbrowser import matplotlib.pyplot as plot from urllib.request import urlopen with open('t1.txt','r')as f: x=f.read().split('\ ...
分类：
其他好文 时间：
2020-01-01 23:51:21
阅读次数：
81
Bagging算法： 凡解：给定M个数据集，有放回的随机抽取M个数据，假设如此抽取3组，3组数据一定是有重复的，所以先去重。去重后得到3组数据，每组数据量分别是s1,s2,s3，然后三组分别训练组合成一个强模型。如下图： 随机森林算法： 一般用于大规模数据，百万级以上的。 在Bagging算法的基础 ...
分类：
编程语言 时间：
2020-01-01 14:59:34
阅读次数：
94
用过aws的人，都知道s3存储东西贼方便。 他的上传有两个方法, 第一个是get_object(),是将文件的内容赋值给body,进行上传，并设置存储桶为上传文件为公开 response = s3.put_object(Bucket=bucket_tmp, Key=file_key, Body=co ...
分类：
其他好文 时间：
2019-12-26 16:23:56
阅读次数：
139
贪心算法 贪心算法问题解决步骤 贪心算法实战分析 分糖果：有 m 个糖果和 n 个孩子。要把糖果分给这些孩子吃，但是糖果少，孩子多（m<n），所以糖果只能分配给一部分孩子。每个糖果的大小不等，这 m 个糖果的大小分别是 s1，s2，s3，……，sm。除此之外，每个孩子对糖果大小的需求也是不一样的，只 ...
分类：
编程语言 时间：
2019-12-25 12:46:25
阅读次数：
97
字符串是不变对象,内容一旦创建不可改变,若改变一定会创建新对象。 频繁修改字符串带来的性能开销。 String s1 = "123hello"; String s2 = "123hello"; System.out.println(s1==s2);//true String s3 = "123hel ...
分类：
编程语言 时间：
2019-12-24 23:47:37
阅读次数：
98
一、亚马逊的架构规定 最早实践分布式服务化架构思想的公司应该是亚马逊，它早在 2002 年就颁布了下列架构规定，这应该就是 AWS（Amazon Web Service）出现的基础： 1. 所有团队的程序模块都要通过 Service Interface 方式将其数据与功能开放出来。 2. 团队间程序 ...
分类：
其他好文 时间：
2019-12-21 22:59:55
阅读次数：
100
aws入门 一 什么是aws? /* 概念: AWS就是 Amazon Web Servies, 亚马逊云计算服务平台。 是一款云服务。 */ 二 aws可以做什么？ // 可以在aws，创建我们需要的实例，数据库，设置vpc,as,elb..... 三 aws 优势有哪些？ /* AWS 服务提供 ...
分类：
其他好文 时间：
2019-12-18 12:39:45
阅读次数：
111
public class String001 { public static void main(String[] args) { String s1 = "hello"; String s2 = new String("hello"); String s3 = new String("hello"... ...
分类：
其他好文 时间：
2019-12-14 13:42:38
阅读次数：
62
