UDAF 强类型自定义函数udaf强类型自定义函数需要继承Aggregator抽象类，并实现6个方法 //输入类型 case class People(name:String,age:Long) //缓存数据类型 case class AgeBuffer(var sum:Long,var count:Long) //输入类型,缓存数据类型,返回精英 cl- 阅读剩余部分 -

Spark sql求平均年龄//输入 {"name":"liming","age":11} {"name":"LiLei","age":21} {"name":"Tom","age":31} d- 阅读剩余部分 -

UDF函数-1to1用户自定义函数，一路输入一路输出自定义函数要先注册 。匿名函数实现//输入数据 {"name":"liming","age":11} {"name":"LiLei","age":21} {"name":"Tom- 阅读剩余部分 -

Ideal中创建SparkSql程序1.添加依赖在pom.xml中添加spark-sql的引用。 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <ver- 阅读剩余部分 -

Linux根据进程号查应用的启动路径。[root@master 2650]# jps 82912 Jps 1521 NameNode 1652 DataNode 16023 RunJar 2650 HRegionServer 2220 QuorumPeerMain 1981 NodeManager 2141 JobHistoryServer 81870 Main 16223 R- 阅读剩余部分 -