hive on spark 给你spark on hive区别,sparksql,Dataframespark on hive,hive on spark ,Spark sql ,Dataframespark on hive用hive的元数据表，用spark的计算引擎。把hive的conf文件夹中 core-site.xml, hive-site.xml放到spark的conf- 阅读剩余部分 -

自定义累加器累加器和普通的变量相比，会将executor端的结果，收集到driver端进行汇总def main(args: Array[String]): Unit = { //创建spark并设置app名称 val conf: SparkConf = new SparkConf().setAppName("SparkCoreTest").s- 阅读剩余部分 -

累计器executor中会把driver定义的变量，变成一个新的副本进行累计。不会影响driver中的变量的值var sum=0; //driver中定义 rdd.foreach{ //executor中执行 case (word,count)=>{sum+=count} } println(sum) //0 普通定义的变量，executor中会把driver中- 阅读剩余部分 -

hadoop配置规划NameNode，SecondaryNameNode,ResourceManager分别放在不同的机器上。 master sliver1 sliver2 - 阅读剩余部分 -

1.用ssh-keygen -t rsa -P '' 生成rsa密钥对，生成后的文件在/root/.ssh/目录下保存，分别人id_rsa, id_rsa.pub[root@HOSTNAME=master ~]# ssh-keygen -t rsa -P '' Generating public/private rsa key pair. Enter file in which- 阅读剩余部分 -