码迷,mamicode.com
首页 >  
搜索关键字:textfile    ( 261个结果
[Spark][Python]对HDFS 上的文件,采用绝对路径,来读取获得 RDD
对HDFS 上的文件,采用绝对路径,来读取获得 RDD: In [102]: mydata=sc.textFile("file:/home/training/test.txt")17/09/24 06:31:04 INFO storage.MemoryStore: Block broadcast_3 ...
分类:编程语言   时间:2017-09-24 22:21:21    阅读次数:1380
脚本免杀概述
手机打字实在在麻烦,所以一些比较简单或太复杂的代码我就不直接提供实例了。 1、不是方法的方法--加注释 加一些规则无用不含特征码的注释。代码略 2、大小写混编 利用VBS忽略大小写 3、 分行与同行混用 利用冒号(:)连接多行代码为一行 4、一行分多行 使用续行符(_)将一行分多行写 5、利用exe ...
分类:其他好文   时间:2017-09-19 00:29:50    阅读次数:259
spark2.x由浅入深深到底系列六之RDD java api详解一
以下对RDD的三种创建方式、单类型RDD基本的transformationapi、采样Api以及pipe操作进行了javaapi方面的阐述一、RDD的三种创建方式从稳定的文件存储系统中创建RDD,比如localfileSystem或者hdfs等,如下://从hdfs文件中创建 JavaRDD<String>textFileRDD=sc.textFile("hd..
分类:编程语言   时间:2017-09-18 10:53:03    阅读次数:264
Spark学习笔记4:数据读取与保存
Spark对很多种文件格式的读取和保存方式都很简单。Spark会根据文件扩展名选择对应的处理方式。 Spark支持的一些常见文件格式如下: 1、文本文件 使用文件路径作为参数调用SparkContext中的textFile()函数,就可以读取一个文本文件。也可以指定minPartitions控制分区 ...
分类:其他好文   时间:2017-09-17 00:38:38    阅读次数:212
spark总结3
cd 到hadoop中 然后格式化 进入到 bin下 找到 hdfs 然后看看里面有哈参数: ./hdfs namenode -format 格式化 然后启动 sbin/start-dfs.sh hdfs的关系界面 http://192.168.94.132:50070/ 创建文本: 创建个目录 h ...
分类:其他好文   时间:2017-09-16 13:41:18    阅读次数:150
spark总结4 算子问题总结
官网上最清晰 sc 启动spark时候就已经初始化好了 sc.textFile后 会产生一个rdd spark 的算子分为两类 一类 Transformation 转换 一类 Action 动作 Transformation 延迟执行 记录元数据信息 当计算任务触发Action时候才会真正的开始计算 ...
分类:其他好文   时间:2017-09-16 13:29:42    阅读次数:220
hive INSERT OVERWRITE table could not be cleaned up.
create table maats.account_channel ROW FORMAT DELIMITED FIELDS TERMINATED BY '^' STORED AS TEXTFILE as select distinct a.account,b.channel from maats. ...
分类:其他好文   时间:2017-09-03 22:10:43    阅读次数:484
hive基础及系统架构
1、hive是什么 hive是建立在hadoop上的数据仓库,提供数据的提取、转化和加载。 2、hive的数据存储 1】hive的数据存储基于hdfs 2】存储结构主要包括:数据库、文件、表、索引、视图 3】hive默认可以直接加载文本文件(TextFile),还支持SecquenceFile、RC ...
分类:其他好文   时间:2017-09-02 15:47:15    阅读次数:253
Parallelism , Partitioner
转:spark通过合理设置spark.default.parallelism参数提高执行效率 spark中有partition的概念(和slice是同一个概念,在spark1.2中官网已经做出了说明),一般每个partition对应一个task。在我的测试过程中,如果没有设置spark.defaul ...
分类:其他好文   时间:2017-08-13 17:41:11    阅读次数:250
hadoop Hive 的建表 和导入导出及索引视图
1.hive 的导入导出 1.1 hive的常见数据导入方法 1.1.1 从本地系统中导入数据到hive表 1.创建student表 [ROW FORMAT DELIMITED]关键字,是用来设置创建的表在加载数据的时候,支持的列分隔符。[STORED AS file_format]关键字是用来设置 ...
分类:其他好文   时间:2017-08-10 22:24:46    阅读次数:297
261条   上一页 1 ... 13 14 15 16 17 ... 27 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!