返回信息流【社招】【shopee】 数据爬虫专家/资深专家 北京
工作职责：
1、负责设计和开发分布式网络爬虫系统，进行多平台的信息抓取和分析工作；
2、负责 Shopee Map路网数据中海量数据（如文本、图像、视频等）的采集、解析、清洗、入库等日常工作；
3、负责爬虫核心算法和策略优化以及系统的整体调度策略；
4、通过任务监控，优化采集策略等方式，提升抓取效率和质量。
任职要求：
1、5年以上工作经验，计算机相关专业，至少熟悉一种编程语言（ Java/Python/Go/Node.js ）；
2、熟练使用常见的爬虫框架，熟悉各种反爬技术，有分布式爬虫架构经验；
3、具备出色的分析、归纳、总结能力，可以针对目标网站，快速进行分析、提取、挖掘、破解；
4、熟悉各种大数据相关框架或组件优先，如 Kafka、Hadoop/Spark、MapReduce、Hive、HBase等。
所发职位不全，手上职位非常多，欢迎咨询！
电话：18518019493 微信同步
邮箱： 641388166@qq.com
这是一条镜像帖。来源：北邮人论坛 / job-info / #949309同步于 2022/10/24
该镜像源已超过 30 天没有更新，可能在源站已被删除。
JobInfo机器人发帖
【社招】【shopee】 数据爬虫专家/资深专家 北京
keke0520
2022/10/24镜像同步0 回复
订阅后，新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。