自定义累加器累加器和普通的变量相比，会将executor端的结果，收集到driver端进行汇总def main(args: Array[String]): Unit = { //创建spark并设置app名称 val conf: SparkConf = new SparkConf().setAppName("SparkCoreTest").s- 阅读剩余部分 -

累计器executor中会把driver定义的变量，变成一个新的副本进行累计。不会影响driver中的变量的值var sum=0; //driver中定义 rdd.foreach{ //executor中执行 case (word,count)=>{sum+=count} } println(sum) //0 普通定义的变量，executor中会把driver中- 阅读剩余部分 -

hadoop配置规划NameNode，SecondaryNameNode,ResourceManager分别放在不同的机器上。 master sliver1 sliver2 - 阅读剩余部分 -

1.用ssh-keygen -t rsa -P '' 生成rsa密钥对，生成后的文件在/root/.ssh/目录下保存，分别人id_rsa, id_rsa.pub[root@HOSTNAME=master ~]# ssh-keygen -t rsa -P '' Generating public/private rsa key pair. Enter file in which- 阅读剩余部分 -

nacos配置管理Nacos是阿里开源的一个项目 用于进行微服务架构的配置管理以及服务发现， 和服务治理等解决方案配置管理什么是配置中心配置发布更新发布配置到配置中心，把各个服务拿到一个地方， 这样各个服务要从配置中心获取配置 。 可以通过远程协议 去拉下来。 为什么要通过远程拉协，因为配置中心和服务都是独立的服务，有可能不在一台机子上。 如果更改了配置以后，配置中心为通知各- 阅读剩余部分 -