一、Hadoop概述 1、Hadoop名字是由Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名，Hadoop是Apache开源的分布式存储+分布式计算平台。Hadoop能搭建大型数据仓库、PB级数据的存储、处理、分析、统计等业务，如搜索引擎、日志分析、商业智能、数据挖掘 2、狭义Ha ...
分类：
其他好文 时间：
2019-12-16 19:22:48
阅读次数：
100
链接地址:https://www.cnblogs.com/sunlong88/articles/9384920.html 关于array： Python 本身没有数组这个说法, 有的就是list和tuple, list就具有其他语言中的数组特性. 至于list和tuple的区别,在于list可以在运 ...
分类：
编程语言 时间：
2019-12-16 09:33:40
阅读次数：
113
搭建Hadoop集群需要注意的问题： 1.检查三台主机名是否正确 2.检查三台IP是否正确 3.检查 /etc/hosts 映射是否正确 4.检查 JDK和Hadoop 是否安装成功（看环境变量配置） 键入 ：sudo vi /etc/profile进到文件之后，检查环境变量配置是否正确： 5.检查 ...
分类：
其他好文 时间：
2019-12-15 14:27:17
阅读次数：
101
关于搭建Hadoop环境，可参考：https://www.cnblogs.com/SysoCjs/p/10835793.html） 说明： #master，表示在master节点上操作； #master，#slave1，#slave2，表示在三个节点上都要操作； 一、安装Hive1.2.2 1、源码 ...
分类：
数据库 时间：
2019-12-11 00:15:14
阅读次数：
109
1、概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn的架构如下图所示： 从Yarn的架构图来看，他主要由ResourceManager、NodeManager、Appli ...
分类：
其他好文 时间：
2019-12-10 20:58:51
阅读次数：
97
使用yarn 安装 webpack 1. yarn的使用： yarn add 安装 yarn global add 全局安装 yarn add 软件包名+@版本号 指定版本安装 yarn remove +xxx 移除 yarn init 初始化 yarn upgrade +xxx 升级 所以，yar ...
分类：
Web程序 时间：
2019-12-03 17:56:37
阅读次数：
161
首先创建2个shell脚本文件,测试用. test_shell_no_para.sh 运行时,不需要传递参数 test_shell_2_para.sh 运行时,需要传递2个参数 test_shell_no_para.sh 内容如下: test_shell_2_para.sh内容如下 注意含有变量的字 ...
分类：
编程语言 时间：
2019-12-03 14:22:44
阅读次数：
233
https://blog.csdn.net/Gamer_gyt/article/details/55225700 sqoop1.0 与sqoop2.0的比较（两者差别比较大）。 参考文档：https://blog.csdn.net/weixin_43241054/article/details/89 ...
分类：
其他好文 时间：
2019-12-02 00:35:01
阅读次数：
89
deepin 新建/删除/修改-->文件/文件夹后 目录不刷新解决方案 方法1： F5键刷新 方法2： 通过修改配置文件-->调整最大文件监控数量 sudo vim /etc/sysctl.conf 添加参数 fs.inotify.max_user_watches = 10000 运行使配置生效 s ...
分类：
其他好文 时间：
2019-11-29 23:53:45
阅读次数：
337
购买云服务器 或者自己在本地搭建一个虚拟机 (我用的是腾讯云云服务器（CVM）,或者可以购买阿里云 ecs服务器) 购买完成后 配置安全组 允许http https ftp 端口 一般运营商会提供说明,这一步主要是供我们链接服务器和访问服务器所用 配置完安全组之后,浏览器打开公网ip(买了服务器之后 ...
分类：
系统相关 时间：
2019-11-23 20:18:40
阅读次数：
95
