大数据(Big Data)相关学习路径、资料整理

作者 Marlous 日期 2019-01-15
大数据(Big Data)相关学习路径、资料整理

参考:
1、 如何进入大数据领域,学习路线是什么?
2、 怎样进行大数据的入门级学习?
3、 如何快速成为数据分析师?
4、 极客时间:从0开始学大数据
5、 BI转数据挖掘,我的脱产学习路
6、 知乎:数据挖掘

一 概述

  • 大致方向:
    大数据工程师、数据分析师、大数据科学家、其他。

  • 随着近些年大数据技术的发展,以 Hadoop、Spark 为代表的大数据开源项目早已迭代成熟,构建起生态化系统。与此对应,不论是开发者还是企业,关注点也已经从技术的演进转向如何更好地应用大数据,去支撑业务和云计算、人工智能的深度融合。

二 补充资料

三 学习路径

0 极速了解大数据

参考:
1、 极客时间:从0开始学大数据
2、 BI转数据挖掘,我的脱产学习路

  • BI转数据挖掘,我的脱产学习路

  • 极速了解大数据

1 入门指南

  1. 知识图谱:
  1. 工具:
  • PyCharm
  • anaconda
  • Jupyter Notebook/Jupyter Lab
  1. 参赛平台:
    kaggle、阿里巴巴天池、kesci、datacastle、biendata、datafountain 等。

2 学习路线

参考:
1、 如何进入大数据领域,学习路线是什么?

  • 入门知识
  • Java 基础;补充:Java 高级(《深入理解Java虚拟机》、《Java高并发实战》)。
  • Scala 基础;补充:《快学 Scala》。
  • Hadoop 技术模块;补充:董西成的书、《HBase 权威指南》、《Hive开发指南》。
  • Hadoop 项目实战。
  • Spark 技术模块;补充:《Spark 快速大数据分析》。
  • 大数据项目实战。

3 参考经验小结

  1. 必须技能 10 条:
  • Java高级(虚拟机、并发)
  • Linux 基本操作
  • Hadoop(此处为侠义概念单指 HDFS + MapReduce + Yarn)
  • HBase(JavaAPI 操作 + Phoenix )
  • Hive(Hql 基本操作和原理理解)
  • Kafka
  • Storm
  • Scala 需要
  • Python
  • Spark (Core + sparksql + Spark streaming )
  1. 高阶技能 6 条:
  • 机器学习算法以及 mahout 库加 MLlib
  • R 语言
  • Lambda 架构
  • Kappa 架构
  • Kylin
  • Aluxio