Spark文档阅读之Programming Guides - Quick Start。学习spark-shell任务提交方法和独立spark任务的创建和提交执行。 ...
分类：
其他好文 时间：
2020-06-15 20:41:53
阅读次数：
51
企业介绍： 中国电信上海理想信息产业（集团）有限公司，成立于1999年，注册资本7000万元，是上海市投资规模较大的信息技术企业之一。母公司员工500多人，其中80％以上员工具有大学本科以上学历，从事软件开发人员超过50％，是一个典型的“知识密集型”企业。 通过整合公司内各事业部多年大型项目实施的整 ...
分类：
其他好文 时间：
2020-06-15 00:04:45
阅读次数：
78
1添加pom.xml配置 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/scala</testSourceDirectory> <plugins> <plugin> <g ...
分类：
数据库 时间：
2020-06-14 18:56:57
阅读次数：
138
代码： import re import datetime from pyspark.sql import SparkSession from pyspark import SparkContext from elasticsearch import Elasticsearch spark=Spar ...
分类：
编程语言 时间：
2020-06-14 17:09:05
阅读次数：
125
使用playbook实现一键部署keepalived+nginx+PHP+wordpress+mariadb 环境 主机名 安装服务 wan lan lb01 nginx+keepalived（master） 10.0.0.5 172.16.1.5 lb02 nginx+keepalived（bac ...
分类：
数据库 时间：
2020-06-14 16:42:03
阅读次数：
56
1. 用idea的maven项目 package 打包, 去 Linux 执行 spark-submit --class com.Spark_HDFS --master local ./SXC-1.0-SNAPSHOT.jar 遇到 找不到主类 , 这时候需要更加稳定的打包方式 去打包 scala ...
分类：
其他好文 时间：
2020-06-14 12:57:57
阅读次数：
127
1.kudu事物 strong的事务，kudu的事务和架构受spanner和calvin系统的启发 Transaction Semantics ( 事务语义 ) 不支持多行事物。 2.查询条件关联语句，应用场景，性能测试 创建关联表 CREATE TABLE spark_kudu_test(id1 ...
分类：
数据库 时间：
2020-06-14 10:53:29
阅读次数：
645
企业介绍： 中国电信上海理想信息产业（集团）有限公司，成立于1999年，注册资本7000万元，是上海市投资规模较大的信息技术企业之一。母公司员工500多人，其中80％以上员工具有大学本科以上学历，从事软件开发人员超过50％，是一个典型的“知识密集型”企业。 通过整合公司内各事业部多年大型项目实施的整 ...
分类：
其他好文 时间：
2020-06-14 01:27:26
阅读次数：
98
环境 主机名 wanIP lanIP 服务 角色 m01 10.0.0.61 172.16.1.61 Ansible 控制端 backup 10.0.0.41 172.16.1.41 rsync服务端 被控端 web01 10.0.0.7 172.16.1.7 rsync客户端 被控端 web02 ...
分类：
其他好文 时间：
2020-06-14 01:20:41
阅读次数：
75
环境 主机名 安装服务 wan lan db01 mariadb 10.0.0.51 172.16.1.51 流程分析 1.安装ansible 2.优化ansible 3.推送公钥 4.开启防火墙 5.开启80 443 873 nfs等端口和服务白名单 6.关闭selinux 7.创建同一的用户 1 ...
分类：
数据库 时间：
2020-06-14 01:09:54
阅读次数：
112
