一. SparkSQL简介 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 Dremel > Drill(Apache) >Impala(Cloudrea) Presto(Hotonworks) Hive > Shark(对Hive的模仿，区别在 ...
分类：
数据库 时间：
2020-08-07 21:45:52
阅读次数：
79
1、JedisConnectionPool.scala package sparkstreaming import redis.clients.jedis.{Jedis, JedisPool, JedisPoolConfig} object JedisConnectionPool{ val conf ...
分类：
其他好文 时间：
2020-08-07 18:03:42
阅读次数：
62
开心一刻 老师：谁知道鞭炮用英语怎么说？ 甲：老师！老师！我知道，鞭炮的英文是pilipala。 老师：那闪电呢？ 乙：kucha kucha 老师：那舞狮呢？ 丙：dong dong qiang 老师：你们几个先歇会吧！太费嗓子了！ 老师：下一个，谁知道墨家创始人墨子的英文怎么翻译？ 丁：blac ...
分类：
其他好文 时间：
2020-08-04 09:54:41
阅读次数：
58
SpringCloud构建微服务系统性源码spring-cloud：https://github.com/yinjihuan/spring-cloudSmconf专注于分布式环境下配置的统一管理smconf：https://github.com/yinjihuan/smconfElastic-JobSpringBoot自动集成，只需要一个注解即可发布Job。elastic-job-spring-b
分类：
其他好文 时间：
2020-08-03 23:14:47
阅读次数：
73
针对hive on mapreduce 1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并： 参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 1 2 3 4 ...
分类：
数据库 时间：
2020-08-03 19:56:21
阅读次数：
103
revel 是一个golang的全栈web开发框架,支持代码开发阶段的reload，友好的迁移（基于mux支持原有代码的方便迁移） 无状态，内置强大的cache，template，job，参数解析，路由 安装 go get -u github.com/revel/cmd/revel 创建应用 rev ...
分类：
其他好文 时间：
2020-08-02 12:43:14
阅读次数：
89
DataX SqlServerWriter 1 快速介绍 SqlServerWriter 插件实现了写入数据到 SqlServer 库的目的表的功能。在底层实现上， SqlServerWriter 通过 JDBC 连接远程 SqlServer 数据库，并执行相应的 insert into ... s ...
分类：
数据库 时间：
2020-07-31 12:33:10
阅读次数：
114
前言我之前的工作中一直在用Elastic-Job来做任务调度。这也是大家为什么能在我的书籍《SpringCloud微服务入门实战与进阶》中看到Elastic-Job的章节。从2017的2.1.5版本之后Elastic-Job没再更新过。我们在做技术选型的时候，对框架的使用范围和社区的活跃度都会比较看重，当然首先是功能点能够满足业务需求。今天给大家新推荐一个任务调度框架，也许很多人听过甚至目前已经使
分类：
其他好文 时间：
2020-07-31 01:09:46
阅读次数：
71
引入maven <!-- https://mvnrepository.com/artifact/org.quartz-scheduler/quartz --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>s ...
分类：
编程语言 时间：
2020-07-29 14:49:58
阅读次数：
145
XMl //实现xml的写入 //1、在内存中构建Dom对象 XmlDocument xmlDoc = new XmlDocument(); //增加文档说明 XmlDeclaration xmlDeclaration = xmlDoc.CreateXmlDeclaration("1.0", "GB ...
分类：
Web程序 时间：
2020-07-29 10:17:41
阅读次数：
91
