spark学习系列

By | 2019年1月31日

转自: http://www.cnblogs.com/magj2006/p/4316264.html

spark 系列文章汇总

源码导读

  spark 源码导读1 从spark启动脚本开始

  spark 源码导读2 进一步窥探Master、Worker启动及通信机制

  spark 源码导读3 进一步理解脚本调用关系

  spark 源码导读5 列举spark引用的框架和算法

  spark 源码导读6 App, Driver 及 Worker的容错恢复

 

  以spark源码为参照分析模式匹配及种类

 

GraphX

  spark 源码导读4 初探Graphx

内核理解

  spark 内核调度理解

 

性能

  spark性能相关参数配置

 

spark 实战数据来源:

  搜狗实验室(Sogou Labs)

 

另外,本文还收集了其它一些很有影响力的博客或网址:

  富贵有定数,学问则无定数。求一分,便得一分  (关于博主:许鹏,花名@徽沪一郎,2000年毕业于南京邮电学院,现就业于爱立信上海,在UDM部门从事相关产品研发,个人关注于Linux 内核及实时计算框架如Storm、Spark等。)

  RDD:基于内存的集群计算容错抽象

  过往记忆

  fxjwind

  岑玉海 (此人最近忙于泡妞,博客更新缓慢)

  colorant

  瞌睡中的葡萄虎

 

视频学习:

  Spark 1.X 大数据平台 (七牛技术总监、spark Contributor之一 陈超老师主讲)

发表评论