码迷,mamicode.com
首页 > Web开发 > 详细

flume的sink写入hive表

时间:2017-11-07 19:49:39      阅读:227      评论:0      收藏:0      [点我收藏+]

标签:serial   etc   ann   mgr   nal   ase   保存   name   red   

a1.sources = r1
a1.sinks = s1
a1.channels = c1

a1.sources.r1.type = netcat     
a1.sources.r1.bind = localhost 
a1.sources.r1.port = 44444

a1.sinks.s1.type = hive
a1.sinks.s1.type.hive.metastore=thrift://master:9083
a1.sinks.s1.type.hive.datebase=bd14
a1.sinks.s1.type.hive.table=flume_user
a1.sinks.s1.serializer=DELIMITED
a1.sinks.s1.serializer.delimiter="\t"
a1.sinks.s1.serializer.serdeSeparator=‘\t‘
a1.sinks.s1.serializer.fieldnames=user_id,user_name,age

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sink.s1.channel = c1
保存
运行flume-ng agent -c conf -f netcat_to_hive_user.conf --name a1
hive目录-->hcatalog技术分享技术分享atalog/下面的架包拷贝到flume的lib里面

在hive中
创建一张hive表 表名是flume_user,字段是user_id,user_name,age
create table flume_user(
user_id int
,user_name string
,age int
)
clustered by (user_id) into 2 buckets
stored as orc
tableproperties("transactional"=‘true‘)

set hive.support.concurrency=true
set hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
select * from flume_user

打开一个连接 到服务器然后输入 :
telnet localhost 44444 
然后输入 对应字符
1 tab键 王五 tab键 15 tab键

flume的sink写入hive表

标签:serial   etc   ann   mgr   nal   ase   保存   name   red   

原文地址:http://www.cnblogs.com/zuizui1204/p/7800226.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!