想在本机测试一下,spark read write to s3 cloud storeage. minio是一个不错的选择,轻量,兼容aws s3协议。 可以使用docker来做。 #拉取镜像 docker pull minio/minio#启动容器docker run -p 9000:9000 - ...
分类:
其他好文 时间:
2020-01-05 16:01:59
阅读次数:
117
分布式存储的应用场景相对于其存储接口,现在流行分为三种: 对象存储: 也就是通常意义的键值存储,其接口就是简单的GET、PUT、DEL和其他扩展,如七牛、又拍、Swift、S3 块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在,这种接口需要实现Linux的Blo ...
分类:
其他好文 时间:
2020-01-04 14:09:04
阅读次数:
87
import requests import webbrowser import matplotlib.pyplot as plot from urllib.request import urlopen with open('t1.txt','r')as f: x=f.read().split('\ ...
分类:
其他好文 时间:
2020-01-01 23:51:21
阅读次数:
81
Bagging算法: 凡解:给定M个数据集,有放回的随机抽取M个数据,假设如此抽取3组,3组数据一定是有重复的,所以先去重。去重后得到3组数据,每组数据量分别是s1,s2,s3,然后三组分别训练组合成一个强模型。如下图: 随机森林算法: 一般用于大规模数据,百万级以上的。 在Bagging算法的基础 ...
分类:
编程语言 时间:
2020-01-01 14:59:34
阅读次数:
94
用过aws的人,都知道s3存储东西贼方便。 他的上传有两个方法, 第一个是get_object(),是将文件的内容赋值给body,进行上传,并设置存储桶为上传文件为公开 response = s3.put_object(Bucket=bucket_tmp, Key=file_key, Body=co ...
分类:
其他好文 时间:
2019-12-26 16:23:56
阅读次数:
139
贪心算法 贪心算法问题解决步骤 贪心算法实战分析 分糖果:有 m 个糖果和 n 个孩子。要把糖果分给这些孩子吃,但是糖果少,孩子多(m<n),所以糖果只能分配给一部分孩子。每个糖果的大小不等,这 m 个糖果的大小分别是 s1,s2,s3,……,sm。除此之外,每个孩子对糖果大小的需求也是不一样的,只 ...
分类:
编程语言 时间:
2019-12-25 12:46:25
阅读次数:
97
字符串是不变对象,内容一旦创建不可改变,若改变一定会创建新对象。 频繁修改字符串带来的性能开销。 String s1 = "123hello"; String s2 = "123hello"; System.out.println(s1==s2);//true String s3 = "123hel ...
分类:
编程语言 时间:
2019-12-24 23:47:37
阅读次数:
98
一、亚马逊的架构规定 最早实践分布式服务化架构思想的公司应该是亚马逊,它早在 2002 年就颁布了下列架构规定,这应该就是 AWS(Amazon Web Service)出现的基础: 1. 所有团队的程序模块都要通过 Service Interface 方式将其数据与功能开放出来。 2. 团队间程序 ...
分类:
其他好文 时间:
2019-12-21 22:59:55
阅读次数:
100
aws入门 一 什么是aws? /* 概念: AWS就是 Amazon Web Servies, 亚马逊云计算服务平台。 是一款云服务。 */ 二 aws可以做什么? // 可以在aws,创建我们需要的实例,数据库,设置vpc,as,elb..... 三 aws 优势有哪些? /* AWS 服务提供 ...
分类:
其他好文 时间:
2019-12-18 12:39:45
阅读次数:
111
public class String001 { public static void main(String[] args) { String s1 = "hello"; String s2 = new String("hello"); String s3 = new String("hello"... ...
分类:
其他好文 时间:
2019-12-14 13:42:38
阅读次数:
62