0.0 前言 本文主要基于最新的Spark 2.1.0版本。阅读本文可以对Spark 2.1.0的学习过程，运行流程，关键组件，原理有所了解。文章有点长，你也可以直接阅读感兴趣的部分，但是还是建议全面了解。 1.0 简介 Spark是Apache软件基金会下的分布式系统开源项目。在官网中这样概况这个 ...
分类：
其他好文 时间：
2019-05-20 13:20:44
阅读次数：
116
简单的说，Python是一个“优雅”、“明确”、“简单”的编程语言。 学习曲线低，非专业人士也能上手 开源系统，拥有强大的生态圈 解释型语言，完美的平台可移植性 支持面向对象和函数式编程 能够通过调用C/C++代码扩展功能 代码规范程度高，可读性强 目前几个比较流行的领域，Python都有用武之地。 ...
分类：
编程语言 时间：
2019-05-12 00:56:27
阅读次数：
364
（一）Hive 概述 （二）Hive在Hadoop生态圈中的位置 （三）Hive 架构设计 （四）Hive 的优点及应用场景 （五）Hive 的下载和安装部署 1.Hive 下载 Apache版本的Hive。 Cloudera版本的Hive。 这里选择下载Apache稳定版本apache-hive- ...
分类：
其他好文 时间：
2019-05-10 16:19:14
阅读次数：
177
一个项目经过软件开发一系列步骤后最终要部署到服务器上运行。以前大多数情况是通过工具打包成war然后通过ftp服务器将war包上传至Tomcat服务下的webapps文件夹下自动解压运行。但随着应用的不断更新迭代使用war包部署的方式可能会逐渐减少，过大的项目包和包之间的依赖频繁。随着springbo ...
分类：
其他好文 时间：
2019-05-03 11:37:35
阅读次数：
108
（先埋怨一下微软大大）我们做NET开发，十分羡慕JAVA上能有NETTY, SPRING, STRUTS, DUBBO等等优秀框架，而我们NET就只有干瞪眼，哎，无赖之前生态圈没做好，恨铁不成钢啊。不过由于近来Net Core的发布，慢慢也拉回了一小部分属于微软的天下，打住，闲话扯到这儿。 DotN ...
分类：
Web程序 时间：
2019-04-28 12:49:50
阅读次数：
874
1、Junit 是什么？ JUnit是一个Java语言的单元测试框架。它由Kent Beck和Erich Gamma建立，逐渐成为源于Kent Beck的sUnit的xUnit家族中最为成功的一个JUnit有它自己的JUnit扩展生态圈。多数Java的开发环境都已经集成了JUnit作为单元测试的工具 ...
分类：
其他好文 时间：
2019-04-26 12:59:30
阅读次数：
125
linux内核高级优化脚本可以用于hadoop生态圈环境的组件安装linux内核调优具体的每一步的解释请参考03搭建cdh备注：使用与centos6和centos7两个系统版本执行[root@lb01scripts]#pwd/opt/scripts[root@lb01scripts]#lltotal12-rw-r--r--1rootroot3837Apr2214:34adlinuxopt.sh-r
分类：
系统相关 时间：
2019-04-22 15:21:16
阅读次数：
256
hbase特点及简介： hbase源自于谷歌的三大论文之一 GFS -- hdfs MapReduce - MR BigTable - hbase hbase在以Hadoop为基础的生态圈中的地位 hbase和Hadoop的hdfs结合使用，构建在hdfs上的数据库（hbase为hdfs上的海量的结... ...
分类：
其他好文 时间：
2019-03-26 22:37:59
阅读次数：
191
scoop也是包管理工具，不过是含着金钥匙出生的（正巧碰上微软支持开源，并且拥抱开源生态圈）,此后的Win10 powershell 3.x+也就不会像Win7 powershell 2.x那样沉默了. scoop github：https://github.com/lukesampson/scoo ...
分类：
其他好文 时间：
2019-03-17 20:13:27
阅读次数：
317
