# 定义变量 SERVERNAME=`echo $JOB_NAME | awk -F '.' '{print $1}'` LSERVERNAME=`echo "$SERVERNAME" | sed 's/-//g' | tr '[A-Z]' '[a-z]'` GET_RESULT=`echo $JO ...
分类：
系统相关 时间：
2020-05-30 21:57:02
阅读次数：
92
一、Spark数据分区方式简要 在Spark中，RDD（Resilient Distributed Dataset）是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。这里可将RDD看成一个非常大的数组， ...
分类：
其他好文 时间：
2020-05-29 20:55:31
阅读次数：
55
今天重启mysql发现报错如下： $ sudo service mysqld restart Redirecting to /bin/systemctl restart mysqld.service Job for mysqld.service failed because the control ...
分类：
数据库 时间：
2020-05-28 16:13:34
阅读次数：
115
在jenkins上项目配置里 #!/bin/bashHOME="/${JOB_NAME}"HOST="192.168.130.134"scp ${WORKSPACE}/target/smart_city_manager_admin.jar root@${HOST}:${HOME}echo "复制 成 ...
分类：
其他好文 时间：
2020-05-27 20:25:33
阅读次数：
96
Have Ktag to remap 2010 Golf GTI MK6 with Bosch MED17.5 ECU. This article is available with the procedure. Open ECU… Connect the wires by following th ...
分类：
其他好文 时间：
2020-05-27 15:36:04
阅读次数：
61
常用命令短语 查看已安装的镜像 docker images 查看已运行的容器 docker ps 查看容器属性（DB001为容器名称） docker inspect db001 查看容器日志 docker logs tomcat07 进入容器 docker exec -it 0033e6d00a98 ...
分类：
系统相关 时间：
2020-05-25 15:51:09
阅读次数：
118
unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark streaming job挂掉。如果unclea ...
分类：
其他好文 时间：
2020-05-25 14:01:02
阅读次数：
89
【博物纳新】是UWA旨在为开发者推荐新颖、易用、有趣的开源项目，帮助大家在项目研发之余发现世界上的热门项目、前沿技术或者令人惊叹的视觉效果，并探索将其应用到自己项目的可行性。很多时候，我们并不知道自己想要什么，直到某一天我们遇到了它。 更多精彩内容请关注：lab.uwa4d.com 简介 Defor ...
分类：
编程语言 时间：
2020-05-25 12:49:11
阅读次数：
75
跑spark job的时候碰到了错误： 这是因为nmPrivate目录没有权限访问引起的。 参考： "https://www.oschina.net/question/2288283_2134188" ...
分类：
其他好文 时间：
2020-05-25 09:22:14
阅读次数：
74
一般来说，一个spark程序包含两种 JVM 程序，Dirver 和 Executor。Dirver 是主要的控制程序，负责创建 context，提交任务，那 job 转换为 task 并且协调 task 在 executor 中的执行。Executor 主要是负责执行计算任务并且将结果返回给 Dr ...
分类：
其他好文 时间：
2020-05-24 23:52:11
阅读次数：
70
