表 Table 内部表 Partition 分区表 External Table 外部表 Bucket Table 桶表 内部表 分区表 parttion对应于数据库中的Partition列的密集索引,在hive中,表的一个Partition对应于表下一个目录,所有的Partition的数据都存储在 ...
分类:
其他好文 时间:
2018-11-25 21:20:59
阅读次数:
237
作者:周思华 欢迎访问网易云社区,了解更多网易技术产品运营经验。 本文尝试描述Beam模型和Stream & Table理论间的关系(前者描述于数据流模型论文、the-world-beyond-batch-streaming101和the-world-beyond-batch-streaming-1 ...
分类:
其他好文 时间:
2018-11-21 12:21:19
阅读次数:
174
在上一篇文章中《P2P技术是什么》,我们介绍了P2P技术的特点以及发展历史。在本篇文章中,我们来介绍某一个具体的算法。 如今很多P2P网络的实现都采用DHT的方式实现查找,其中Kademlia(简称Kad)算法由于其简单性、灵活性、安全性成为主流的实现方式。下面我们就来详细分析这个应用于比特币和以太 ...
分类:
编程语言 时间:
2018-11-18 13:34:51
阅读次数:
295
其实不止是yii框架可以用, 因为只是一个类库使用,在哪个框架都可以用 前期准备 1.在七牛注册账号https://portal.qiniu.com/signup/choice 2.创建空间https://portal.qiniu.com/bucket(记住存储空间名称和存储区域) 3.创建秘钥ht ...
分类:
Web程序 时间:
2018-11-16 18:50:54
阅读次数:
551
以下三种排序文章内容转自58沈剑原创文章,未做任何改动。 时间复杂度为O(n)的排序,常见的有三种: 基数排序(Radix Sort),适用范围:整数排序 计数排序(Counting Sort),适用范围:待排序的元素在某一个范围[MIN, MAX]之间。 桶排序(Bucket Sort),适用范围 ...
分类:
编程语言 时间:
2018-11-15 10:24:03
阅读次数:
166
importboto3importioimportpandasaspd#Setbelowparametersbucket=‘<bucketname>‘key=‘data/training/iris.csv‘endpointName=‘decision-trees‘#PullourdatafromS3s3=boto3.client(‘s3‘)f=s3.get_object(Bucket=
分类:
编程语言 时间:
2018-11-12 19:58:51
阅读次数:
1112
collections模块 在内置数据类型(dict、list、set、tuple)的基础上,collections模块还提供了几个额外的数据类型:Counter、deque、defaultdict、namedtuple和OrderedDict等。 1.namedtuple: 生成可以使用名字来访问 ...
分类:
其他好文 时间:
2018-11-11 15:06:13
阅读次数:
184
为何要这样做:减轻后端数据库压力(个人觉得于前端没啥用,谁返回来都行) 代码部分: 父组件调用 注:需引入官网推荐的oss对象的cdn 需再次强调的是:该代码为前端直传,accessKeyId,accessKeySecret都暴露在外面,更安全的方法可见官网的“服务端签名后上传”(貌似没示例) 原文 ...
分类:
Web程序 时间:
2018-11-07 17:13:01
阅读次数:
297
要理解它们的区别,关键还是告业务应用。 但如何在学习时,如何区分呢? 有以下几个维度: histogram有bucket,summary在quatile。 summary分位数是客户端计算上报,histogram中位数涉及服务端计算。 具体可以参看如下两个链接: https://yunlzheng. ...
分类:
其他好文 时间:
2018-11-07 11:40:02
阅读次数:
752
1、概论 -- 来自维基的解释 /dev/null : 在类Unix系统中,/dev/null,或称空设备,是一个特殊的设备文件,它丢弃一切写入其中的数据(但报告写入操作成功),读取它则会立即得到一个EOF。在程序员行话,尤其是Unix行话中,/dev/null 被称为位桶(bit bucket)或 ...
分类:
系统相关 时间:
2018-11-05 10:13:19
阅读次数:
239