参考 OpenMP多线程 背景 OpenMP并行执行的程序要全部结束后才能执行后面的非并行部分的代码, 这就是标准的并行模式fork/join式并行模式，共享存储式并行程序就是使用fork/join式并行的。标准并行模式执行代码的基本思想是，程序开始时只有一个主线程，程序中的串行部分都由主线程执行， ...
分类：
其他好文 时间：
2021-06-25 16:38:19
阅读次数：
0
inner join(join) left join right join 更多参考 ##表设计 在我们初学阶段，往往都是随意建立一张表，表里面的描述千奇百怪，总想往里面塞东西。 但是有没有想过当我们想要分析一些信息的时候将会变得特别麻烦，比如说Student里面包含了Class的信息，当我们想要查 ...
分类：
其他好文 时间：
2021-06-22 18:03:41
阅读次数：
0
脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado ...
分类：
其他好文 时间：
2021-06-20 18:41:23
阅读次数：
0
1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had ...
分类：
其他好文 时间：
2021-06-20 18:38:22
阅读次数：
0
本文是将 Fork-Join 复杂且较为庞大的框架分成5个小点来分析 Fork-Join 框架的实现原理，一个个点地理解透 Fork-Join 的核心原理。 1. Frok-Join 框架的核心类的结构分析 Fork-Join 框架有三个核心类：ForkJoinPool，ForkJoinWorker ...
分类：
其他好文 时间：
2021-06-20 17:49:08
阅读次数：
0
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据 ...
分类：
数据库 时间：
2021-06-19 19:26:27
阅读次数：
0
上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》，本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容，默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题，可以参考《 linu ...
分类：
数据库 时间：
2021-06-19 19:26:08
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题：sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sqo ...
分类：
数据库 时间：
2021-06-19 19:24:57
阅读次数：
0
概览1.配置hive-site.xml2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 1.配置hive-site.xml利用Xshell工具连接虚拟机 进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件其中配置参考 ...
分类：
其他好文 时间：
2021-06-19 19:20:19
阅读次数：
0
# -*- coding:utf-8 -*- import requests import datetime import time import threading ''' allow_redirects = False禁止重定向，添加在request参数后 get请求用params传参 post ...
分类：
编程语言 时间：
2021-06-19 19:04:02
阅读次数：
0
