HDFS概述 HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常 适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存 储文件, 并且提供统一的访问接 ...
分类：
其他好文 时间：
2020-09-08 20:40:45
阅读次数：
34
一.环境介绍1.centos7.6vmware虚拟机主节点190.168.3.250slave190.168.3.251slave190.168.3.2522.每个节点配置好hosts解析3.下载好软件https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlhadoop-3.
分类：
其他好文 时间：
2020-09-07 19:16:59
阅读次数：
68
1.安装vue-clipboard2 npm install --save-dev vue-clipboard2 2.main.js中添加 import VueClipboard from 'vue-clipboard2' VueClipboard.config.autoSetContainer = ...
分类：
其他好文 时间：
2020-09-07 18:44:44
阅读次数：
36
安装方法： pip install jupyterlab 创建配置文件： jupyter lab --generate-config 修改jupyter工作路径： 打开配置文件（使用文本编辑器打开），修改以下配置： 修改前： # c.NotebookApp.notebook_dir = '' 修改后 ...
分类：
其他好文 时间：
2020-09-04 17:40:21
阅读次数：
71
以前造测试数据，都是张三李四，手机号码都是13900000000往上叠加，不知道你是不是这样呢，哈哈 今天学习到了Faker，造出来的数据看起来比较“真实”~ 话不多说，一起来操作一下吧 1、安装Faker库 pip install Faker 2、从faker模块中导入Faker类，并创建Fake ...
分类：
其他好文 时间：
2020-09-04 17:40:05
阅读次数：
64
Kivy是一个很优秀的，基于Python的GUI库，可以快速开发移动端程序，方便应用于android, ios。 1、Kivy安装 Windows进入dos窗口，需要python3环境，且python3版本不能高于3.7.9，目前未支持python3.8 pip install docutils p ...
分类：
编程语言 时间：
2020-09-04 17:35:33
阅读次数：
67
准备工作 安装librdkafka 库 git clone https://github.com/edenhill/librdkafka.git ./configure make sudo make install 安装php-rdkafka 扩展 $ git clone https://githu ...
分类：
Web程序 时间：
2020-09-04 17:01:54
阅读次数：
69
https://www.cnblogs.com/daofaziran/p/12604879.html 错误提示： ERROR: Command errored out with exit status 1: command: /usr/bin/python3 -u -c 'import sys, s ...
分类：
其他好文 时间：
2020-09-04 17:01:31
阅读次数：
133
Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解
分类：
其他好文 时间：
2020-09-04 16:58:58
阅读次数：
42
1 Sqoop概述 传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。 当大数据存储和Hadoop生态系统的MapReduce，Hive，HBase，Cassandra，Pig等分析器 ...
分类：
其他好文 时间：
2020-09-03 16:44:55
阅读次数：
40
