Ideal导入maven项目1.File-New-Project from Existing Sources2.在弹出的对话框选择Maven项目

hive on spark 给你spark on hive区别,sparksql,Dataframespark on hive,hive on spark ,Spark sql ,Dataframespark on hive用hive的元数据表，用spark的计算引擎。把hive的conf文件夹中 core-site.xml, hive-site.xml放到spark的conf- 阅读剩余部分 -

自定义累加器累加器和普通的变量相比，会将executor端的结果，收集到driver端进行汇总def main(args: Array[String]): Unit = { //创建spark并设置app名称 val conf: SparkConf = new SparkConf().setAppName("SparkCoreTest").s- 阅读剩余部分 -

累计器executor中会把driver定义的变量，变成一个新的副本进行累计。不会影响driver中的变量的值var sum=0; //driver中定义 rdd.foreach{ //executor中执行 case (word,count)=>{sum+=count} } println(sum) //0 普通定义的变量，executor中会把driver中- 阅读剩余部分 -

hadoop配置规划NameNode，SecondaryNameNode,ResourceManager分别放在不同的机器上。 master sliver1 sliver2 - 阅读剩余部分 -