大数据计算之Impala的介绍与使用


​google 三驾马车gfs :对应hadoop的hdfs bigtable :对应的是hbase,性能比bigtable差 mapreduce 之后google又公布了percolator:增量查询,对增加的数据进行分析。使分布式增量索引更新成为文本检索领域的新标准Pregel:图计算,spark.graphx . 开辟了图数据计算的新方向mredel:impala,P- 阅读剩余部分 -

网页抓取数据时对content-Encoding=br的处理


网页抓取数据时对content-Encoding=br的处理今天在获取网页数据的时候 ,查看返回的结果是好多乱码。 好多方格符号,把代码调试了一下。发现了原因竟然是这个网页是内容编码采用br这个原因引起来的。 之前处理content-encoding的时候,先判断 是否是gzip,如果是按gzip来处理,如果不是的话,采用默认处理。 现在发现默认处理完以后,乱码了。 经过查找原- 阅读剩余部分 -

shell中的逻辑或


command 1 | command 2他的功能是把第一个命令command 1执行的结果作为command2的输入传给commandecho "${holiday[@]}" | grep -wq $pre_work_date && echo "Yes" || echo "No"