最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架 主要是考虑到它本身是基于spark核心的，以后的批处理可以一站式服务，并且可以提供准实时服务到elasticsearch中，可以实现准实时定位系统日志。

本例使用Spark Streaming实现一个完整的按批次累加的实时单词计数程序。数据源从Netcat服务器中获取（关于Netcat的安装，此处不做讲解），实现步骤如下： 编写应用程序 1. 导入依赖库 在Spark项目“SparkDemo”的pom.xml中导入以下依赖库： <!--Spark核心库--> <dependency>    <groupId>org.apache.spark</groupId>    <artif