返回信息流求学长学姐指点迷津
这是一条镜像帖。来源:北邮人论坛 / visualization / #542同步于 2020/6/11
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Visualization机器人发帖
18级计算机专业分流想学大数据,请问学长学姐大数据对数学方面
jqh
2020/6/11镜像同步19 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
按照我的理解,大数据方向不需要什么数学知识,需要数学知识的是机器学习。大数据方向更多的是对操作系统、高层架构的理解。
大数据方向以后主要是三种具体工作:
1. 写底层的Spark、Flink框架的扩展代码
2. 写Spark SQL, Flink SQL,类似写SQL的开发
3. 实现调用大数据框架的代码,类似普通后端开发
大数据On-call一般比较重,重于其它方向的码农方向,经常是一组人轮流on-call,on-call时白天996,半夜每隔一两个小时就会被崩掉的夜间离线任务on-call起来
我的理解对不对,向广大校友求证一下
楼上确可惜本校大数据专业充满了浓厚的AI气息,基本就是另一个人工智能,概率论线代知识的要求还是有的
【 在 PMS 的大作中提到: 】
: 按照我的理解,大数据方向不需要什么数学知识,需要数学知识的是机器学习。大数据方向更多的是对操作系统、高层架构的理解。
: 大数据方向以后主要是三种具体工作:
: 1. 写底层的Spark、Flink框架的扩展代码
: 2. 写Spark SQL, Flink SQL,类似写SQL的开发
: 3. 实现调用大数据框架的代码,类似普通后端开发
: 大数据On-call一般比较重,重于其它方向的码农方向,经常是一组人轮流on-call,on-call时白天996,半夜每隔一两个小时就会被崩掉的夜间离线任
: ............
这也太真实了。。。。
另外,每天要处理很多用户的问题:为什么job跑慢了,job出了问题是不是HDFS的问题,Yarn拿不到资源。。。。。。
【 在 PMS 的大作中提到: 】
: 按照我的理解,大数据方向不需要什么数学知识,需要数学知识的是机器学习。大数据方向更多的是对操作系统、高层架构的理解。
: 大数据方向以后主要是三种具体工作:
: 1. 写底层的Spark、Flink框架的扩展代码
: ...................
太真实了....我就是天天想问这种问题的(虽然基本上忍住了
【 在 JackW 的大作中提到: 】
: 这也太真实了。。。。
: 另外,每天要处理很多用户的问题:为什么job跑慢了,job出了问题是不是HDFS的问题,Yarn拿不到资源。。。。。。
补充一点。大厂的话可能有更底层一点的,像阿里有直接做引擎Flink、Ray、ODPS的团队,也有做存储Hbase、Kudu、pangu的团队
【 在 PMS 的大作中提到: 】
: 按照我的理解,大数据方向不需要什么数学知识,需要数学知识的是机器学习。大数据方向更多的是对操作系统、高层架构的理解。
: 大数据方向以后主要是三种具体工作:
: 1. 写底层的Spark、Flink框架的扩展代码
: ...................
【 在 JackW 的大作中提到: 】
: 这也太真实了。。。。
: 另外,每天要处理很多用户的问题:为什么job跑慢了,job出了问题是不是HDFS的问题,Yarn拿不到资源。。。。。。
我似乎知道你是谁?
BDI的?wang jie?
【 在 JackW 的大作中提到: 】
: 这也太真实了。。。。
: 另外,每天要处理很多用户的问题:为什么job跑慢了,job出了问题是不是HDFS的问题,Yarn拿不到资源。。。。。。
on call重吗?