[TOC] 1 目的 记录Spark集群框架搭建及实验自学心得。 2 准备工作 1. "VMware 15 Pro" 2. "Centos7" 3. "JDK 1.8" 4. "Hadoop 2.7.2" 5. "SecureCRT version 8.5" 6. "Scala 2.12.7" 7. ...
分类:
其他好文 时间:
2020-01-13 20:16:53
阅读次数:
106
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库... ...
分类:
编程语言 时间:
2020-01-13 20:14:56
阅读次数:
90
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库... ...
分类:
编程语言 时间:
2020-01-13 19:56:04
阅读次数:
81
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库... ...
分类:
其他好文 时间:
2020-01-13 19:42:03
阅读次数:
78
大数据相关资料 课程环境 Virtual Box 4.1安装 1、使用课程提供的Virtual Box安装包,一步一步安装即可。Oracle_VM_VirtualBox_Extension_Pack-4.1.40-101594.vbox-extpack。2、之所以选用Virtual Box是因为它比 ...
分类:
系统相关 时间:
2020-01-13 18:05:58
阅读次数:
106
1.列举python的5个常用标准库 pathlib,os,sys,re,time,datetime ...
分类:
编程语言 时间:
2020-01-13 16:06:21
阅读次数:
91
今天用别人封装的libcurl库下载文件,发现下载下来的文件总是缺少头两个字节,用以下配置启用HTTP头信息打印后发现原来是设置了断点续传位置的原因 curl_easy_setopt(m_pCurl, CURLOPT_VERBOSE, 1L); 故了解了一下HTTP断点续传的相关设置 参考文章: 1 ...
分类:
Web程序 时间:
2020-01-13 14:31:58
阅读次数:
110
git命令列表 开发要切到自己的分支 暂存修改 查看暂存列表 恢复暂存 恢复暂存有两种方法: 和 , 区别是 在恢复暂存后会立即删除暂存的文件, 则不会。可以稍后通过 参考 "git stash 用法总结和注意点" maven命令列表 打包安装到本地 打包成 运行 不要把一些配置类框类的项目和 业务 ...
分类:
其他好文 时间:
2020-01-13 10:40:22
阅读次数:
91
1.简介 RocketMQ is a distributed messaging and streaming platform with low latency, high performance and reliability, trillion level capacity and flexib ...
分类:
其他好文 时间:
2020-01-12 21:41:26
阅读次数:
105
hive正则 正则表达式描述了一种字符串匹配的模式,可以用来检查一个字符串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。 正则表达式是由普通字符以及特殊字符组成的文字模式。 普通字符:包括所有大写和小写字母、所有数字、所有标点符号和一些其他符号 ^ 匹配输入字符串的开始位 ...
分类:
其他好文 时间:
2020-01-12 15:24:44
阅读次数:
129