如何快速成为大数据开发实战专家？

老王童

作者：诺蓝

下面是StuQ 发布的大数据工程师技能图谱(仅供参考）
大数据通用处理平台

• Spark
• Flink
• Hadoop
  

分布式存储
HDFS
资源调度
Yarn
Mesos
机器学习工具
Mahout

• Spark Mlib
• TensorFlow (Google 系)
• Amazon Machine Learning
• DMTK (微软分布式机器学习工具)
  

数据分析/数据仓库(SQL类)

• Pig
• Hive
• kylin
• Spark SQL,
• Spark DataFrame
• Impala
• Phoenix
• ELK
  

8.1 ElasticSearch
8.2Logstash
8.3Kibana
消息队列

• Kafka(纯日志类，大吞吐量)
• RocketMQ
• ZeroMQ
• ActiveMQ
• RabbitMQ
  

流式计算

• Storm/JStorm
• Spark Streaming
• Flink
  

日志收集
Scribe
Flume
编程语言

• Java
• Python
• R
• Ruby
• Scala
  

数据分析挖掘
MATLAB
SPSS
SAS
数据可视化

• R
• D3.js
• ECharts
• Excle
• Python
  

机器学习机器学习基础

• 聚类
• 时间序列
• 推荐系统
• 回归分析
• 文本挖掘
• 决策树
• 支持向量机
• 贝叶斯分类
• 神经网络
  

机器学习工具

• Mahout
• Spark Mlib
• TensorFlow (Google 系)
• Amazon Machine Learning
• DMTK (微软分布式机器学习工具)
  

算法一致性

• paxos
• raft
• gossip
  

数据结构

• 栈，队列，链表
• 散列表
• 二叉树，红黑树，B树
• 图
  

常用算法1.排序
插入排序
桶排序
堆排序
2.快速排序
3,最大子数组
4.最长公共子序列
5.最小生成树
最短路径
6.矩阵的存储和运算
云计算云服务

• SaaS
• PaaS
• IaaS
• Openstack
• Docker
  

End.