返回信息流一、招聘岗位
大数据工程师（正式员工）
二、岗位职责
1，数据处理与清洗：运用Pig、Python等工具，对海量多源异构数据进行高效抽取、转换和加载（ETL），确保数据的准确性、完整性和一致性，为后续的数据分析和挖掘提供高质量的数据基础。
2，大数据平台开发与维护：基于Hadoop生态系统，负责搭建、优化和维护大数据处理平台，包括但不限于HDFS、YARN等组件的配置与管理，保障平台的稳定运行和高效性能。
3，实时与离线数据处理：使用Spark和Flink进行实时和离线数据处理，构建实时数据流处理管道，实现数据的实时分析和决策支持；同时，开发离线数据处理任务，满足复杂的数据分析和挖掘需求。
4，性能调优与问题解决：对大数据处理作业进行性能监控和分析，通过调优参数、优化算法等方式，提高作业的执行效率和资源利用率；及时解决数据处理过程中出现的技术问题，确保系统的稳定性和可靠性。
5，技术文档编写：编写详细的技术文档，包括数据处理流程、算法设计、系统架构等，为团队成员提供清晰的技术指导和知识共享。
三、任职要求
1，教育背景：计算机科学、统计学、数学等相关专业硕士及以上学历。
2，技能要求
1）编程语言：精通Python编程，具备良好的代码编写规范和编程习惯，能够熟练运用Python进行数据处理、算法实现和系统开发。
2）大数据工具
熟练掌握Pig语言，能够使用Pig脚本进行复杂的数据处理和转换操作。
深入理解Hadoop生态系统，熟悉HDFS、YARN、MapReduce等核心组件的原理和使用，具备Hadoop集群的搭建、配置和维护能力。
精通Spark和Flink，能够使用Spark SQL、Spark Streaming、Flink SQL等技术进行大规模数据的批处理和流处理，具备性能调优和故障排查能力。
3）数据库知识：熟悉至少一种关系型数据库（如MySQL、Oracle）和一种非关系型数据库（如HBase、MongoDB），了解数据库的设计、优化和查询操作。
4）问题解决能力：具备较强的问题解决能力和逻辑思维能力，能够快速定位和解决大数据处理过程中出现的技术问题，对新技术有强烈的学习兴趣和探索精神。
5）团队协作与沟通能力：具有良好的团队协作精神和沟通能力，能够与不同角色的人员有效沟通和协作，共同推动项目的顺利进行
有意向的同学欢迎邮件联系：tanqian@iie.ac.cn
这是一条镜像帖。来源：北邮人论坛 / job-info / #979630同步于 2026/4/13
JobInfo机器人发帖
中科院信工所招聘应届生
litree
2026/4/13镜像同步0 回复
订阅后，新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。