【岗位职责】
1、参与系统需求分析,架构设计及原型实现;
2、负责服务端相关功能开发;
3、负责网页信息和APP数据抽取、清洗、消重等工作,提升平台的抓取效率;
4、编写维护产品中用到一些自动化脚本 (自动化
岗位职责:
1. 负责网络爬虫系统平台的架构设计与开发,完善和重构现有采集系统及服务(如分布式爬取, 抓取调度,多样化抓取,页面解析和结构化抽
取);
2. 设计和开发爬虫的监控和报警系统,提高问题发现能力;