1）Source中使用拦截器 kafka_key.sources.sources1.interceptors = i1kafka_key.sources.sources1.interceptors.i1.type = com.bigdata.flume.MyInterceptor$Builder k ...
分类：
Web程序 时间：
2019-12-28 22:35:37
阅读次数：
181
知识点 1.通过FileOutputStream是将数据先转化为二进制数据，然后再写入到文本文件 2.BufferedWriter可以更加简便的将数据写入文本文件。 3.其中的true参数表示追加，无该参数表示覆盖。 代码 我们可以通过FileOutputStream基础类将字符转化为二进制，然后写 ...
分类：
编程语言 时间：
2019-12-28 11:34:58
阅读次数：
95
概念描述 知识点1：FileInputStream是按照一个一个字节去文件中读取数据的 知识点2：当文件中的数据被读取完毕之后，再次读取，则返回的是-1 知识点3：读取出来的字节可以通过char进行ascII码转换 代码部分 test.txt的文件内容如下： 在以下代码中，为手动去读取一次字节，每r ...
分类：
编程语言 时间：
2019-12-28 09:35:25
阅读次数：
85
本文在Windows端实现了WordCount功能
分类：
其他好文 时间：
2019-12-27 19:40:55
阅读次数：
100
刚开始接触大数据的时候，还是很迷茫的，要学习掌握的东西很多，linux，mysql，java，scala，看到这些的确很头大，于是乎也没有什么思绪，只能一个接着一个的去学习，先去学习linux，看到之后是一脸懵逼，之前没接触过底层的东西，所以开始庄装VM，在linux环境下去指定各种命令，让自己去熟 ...
分类：
系统相关 时间：
2019-12-27 11:46:23
阅读次数：
106
Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同 ...
分类：
其他好文 时间：
2019-12-27 00:11:15
阅读次数：
106
简介 File工具类可以实现创建文件或者文件夹，并对文件或者文件夹进行管理操作。 代码 代码中实现的是File工具类的常用方法 ...
分类：
编程语言 时间：
2019-12-27 00:06:28
阅读次数：
89
scalikejdbc官网：http://scalikejdbc.org/ScalikeJDBC是简洁数据库访问库。该库自然包装JDBC API。 需求：使用scalikejdbc3.3.2版本来操作MySQL数据库1） 通过SQL准备一张表user，有id，name，age三个字段2） 通过sca ...
分类：
数据库 时间：
2019-12-26 19:40:06
阅读次数：
108
IDEA中的scala项目访问HDFS，程序运行，可能出现的异常： 权限问题：Permission denied: user=СÎ÷?Îè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 修改运行时参数，因为HDFS上的文件所属的用户是ha ...
分类：
数据库 时间：
2019-12-26 19:33:00
阅读次数：
103
步骤：1）MySQL的驱动2）Connection 重量级的获取过程。可以使用POOL优化3）Statement 执行的类4）ResultSet 结果的封装5）Close 在pom中添加scala、hadoop、Mysql驱动依赖包： <properties> <scala.version>2.11 ...
分类：
数据库 时间：
2019-12-26 19:09:52
阅读次数：
97
