Spark RDD 文件读取与保存（text、sequence、object）

雷火电竞

RDD 文件读取与保存 Spark 的文件数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统
。 文件格式分为：text 文件、保存csv 文件、文件sequence 文件以及 Object 文件； 文件系统分为：本地文件系统 、保存HDFS、文件HBASE 以及数据库 。保存 text 文件// 读取输入文件val inputRDD: RDD[String] = sc.textFile("input/test1.txt")// 保存数据inputRDD.saveAsTextFile("output")

sequence 文件 SequenceFile 文件是文件 Hadoop 用来存储二进制形式的 key-value 对而设计的一种平面文件(Flat File) 。在 SparkContext 中，可以调用 sequenceFile[keyClass,保存 valueClass](path)

// 保存数据为 SequenceFiledataRDD.saveAsSequenceFile("output")// 读取 SequenceFile 文件sc.sequenceFile[Int,Int]("output").collect().foreach(println)

object 对象文件 对象文件是将对象序列化后保存的文件，采用 Java 的序列化机制 。可以通过objectFile[T: ClassTag](path)函数接收一个路径，读取对象文件，返回对应的文件 RDD，也可以通过调用 saveAsObjectFile()实现对对象文件的输出 。因为是保存序列化所以要指定类型

// 保存数据dataRDD.saveAsObjectFile("output")// 读取数据sc.objectFile[Int]("output").collect().foreach(println)