0 个回答 默认排序 0 个回答 默认排序 默认排序 知乎用户 机器学习 话题的优秀回答者 901 人赞同了该回答 谢邀！五一快乐！分布式系统在互联网时代，尤其是大数据时代到来之后，成为了每个程序员的必备技能之一。分布式系统从上个世纪80年代就开始有了不少出色的研究和论文，我在这里只列举最近15年范 ...
分类：
其他好文 时间：
2017-08-26 23:33:17
阅读次数：
391
Flume NG高可用集群搭建： 架构总图： 架构分配： 角色 Host 端口 agent1 hadoop3 52020 collector1 hadoop1 52020 collector2 hadoop2 52020 agent1配置(flume-client.conf)： collector1 ...
分类：
Web程序 时间：
2017-08-26 19:40:56
阅读次数：
373
library(rhdfs) library(rmr2) hdfs.init() hdfs.delete("/user/output/lm.output") map <- function(k,lines) { lines<-unlist(strsplit(lines,'#')) k<-lines[ ...
分类：
其他好文 时间：
2017-08-19 19:58:53
阅读次数：
157
EXPORT 命令导出数据表或分区，与元数据一起输出到指定位置。又可以从这个输出位置移动到不同的Hadoop 或Hive 实例中，并且使用IMPORT 命令导入。 当导出一个分区表时，原始数据可能位于不同的HDFS位置，同时还支持导出/导入分区的子集。 导出的元数据存储在目标目录中，数据文件则存储在 ...
分类：
其他好文 时间：
2017-08-17 17:50:49
阅读次数：
177
1. 核心概念 一个HDF5文件是一种存放两类对象的容器：dataset和group. Dataset是类似于数组的数据集，而group是类似文件夹一样的容器，存放dataset和其他group。在使用h5py的时候需要牢记一句话：groups类比词典，dataset类比Numpy中的数组。 HDF ...
分类：
编程语言 时间：
2017-08-13 12:17:17
阅读次数：
3379
对于字符串比较，我的习惯用法是 变量.equals(常量) 比如: a.equals("a") 今天看视频才知道变量在前面与后面有很大影响，正确的写法是常量放前面(可以避免变量为null引起的异常)，变量放后面，则上面需要改为("a").equals(a)。 对于JDK API上字符串的equals ...
分类：
其他好文 时间：
2017-08-12 12:49:30
阅读次数：
165
Redis是一个用的比较广泛的Key/Value的内存数据库，新浪微博、Github、StackOverflow 等大型应用中都用其作为缓存，Redis的官网为http://redis.io/。 Redis 是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更 ...
分类：
Web程序 时间：
2017-08-08 11:02:17
阅读次数：
339
数据处理与联机分析处理 ( OLAP ) 联机分析处理是那些为了支持商业智能，报表和数据挖掘与探索等业务而开展的工作。这类工作的样例有零售商按地区和季度两个维度计算门店销售额，银行按语言和月份两个维度计算手机银行装机量，设备制造商定位有哪些零部件的故障率比期望值高。以及医院研究有哪些事件会引起高危婴 ...
分类：
其他好文 时间：
2017-08-06 20:46:59
阅读次数：
152
一 原理阐述 1' DFS 分布式文件系统（即DFS，Distributed File System），指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。 2' HDF ...
分类：
系统相关 时间：
2017-08-05 19:43:33
阅读次数：
1417
前言 本篇总结了QQ邮箱和163邮箱发送邮件，邮件包含html中文和附件，可以发给多个收件人，专治各种不行，总之看完这篇麻麻再也不用担心我的邮件收不到了。 以下代码兼容python2和python3，运行无异常，放心大胆食用。 一、163邮箱 1.先导入smtplib库用来发送邮件，导入MIMETe ...
分类：
编程语言 时间：
2017-08-03 01:10:59
阅读次数：
340
