git的使用。 添加删除文件1.如果不小心把bin,obj文件夹给提交到版本库了。 现在发现，想给去掉应该怎么办。 在根目录下创建.gitignore文件/spark/target obj bin 也可以选中不需要的文件夹，或文件->右键->tortoiseGit->Delete and add to ignore list->delete and i- 阅读剩余部分 -

UDAF 强类型自定义函数udaf强类型自定义函数需要继承Aggregator抽象类，并实现6个方法 //输入类型 case class People(name:String,age:Long) //缓存数据类型 case class AgeBuffer(var sum:Long,var count:Long) //输入类型,缓存数据类型,返回精英 cl- 阅读剩余部分 -

Spark sql求平均年龄//输入 {"name":"liming","age":11} {"name":"LiLei","age":21} {"name":"Tom","age":31} d- 阅读剩余部分 -

UDF函数-1to1用户自定义函数，一路输入一路输出自定义函数要先注册 。匿名函数实现//输入数据 {"name":"liming","age":11} {"name":"LiLei","age":21} {"name":"Tom- 阅读剩余部分 -

Ideal中创建SparkSql程序1.添加依赖在pom.xml中添加spark-sql的引用。 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <ver- 阅读剩余部分 -