spark-streaming-kafka-0-8
Note: Kafka 0.8 support is deprecated as of Spark 2.3.0.
0.8在spark2.3中被标为过时的，但是没关系，还能用
描述两种接收数据的方式receive 和Direct（spark1.3以后才有的）
- 有receive的
receive接收数据，在ui上有个jobid=0，使用kafka high-level consumer api，接收kafka数据先到executer内存里面，
然后再启动streaming作业处理数据，但是在默认的配置下面可能会造成数据的丢失。为了保证数据零丢失，可以开启wal
（预先写日志）机制，可以防止数据丢失
缺点：吞度量就小很多了。
代码
import org.apache.spark.streaming.kafka._
val topics="spark_kafkap_streaming".split(",").map((_,1)).tomap //1是现成数
val ssc=new StreamingContext(....);
val kafkaStream = KafkaUtils.createStream(ssc,"hadoop001:2181", "hadoop_groupid",topics)
// [ZK quorum], [consumer group id], [per-topic number of Kafka partitions to consume])
kafkaStream.print(),打印之后之后是个k v，形式的，k无用时可只用v
注意：
- kafka中partitons数量与rdd中partitions数量没有任何关系
- 如果慢了可以增加组，使用多个receive
3.若开启wal机制存储都hdfs，可以设置MEMORY_AND_DISK_SER,设置保存一份 - Direct的
spark1.3之后，只要记录offset，数据就能恢复，它周期性的查询topic partitions offset range，kafka consumer api读取offset
优势：
- 简化了并性度，sparkstreaing创建的partiton和kafka的partitons一一对应，一对一的映射及优化并行度。
2.效率更高，不用像revice的方式必须使用wal的方式保证数据丢失，只要你有足够的保存天数，就能获取到数据。
3.执行一次的语义，revece方式使用wal才会保证不丢失，但是会重复，offset保存在zookeeper。在direct使用simple api，不是用zookeeper，使用ckepoint，或者自己保存offset，保证幂等性或原子性
缺点：
需要自己更新offset到zookeeper。
