职位要求：

1.全日制本科及以上，2年以上开发经验，1年以上数据抓取工作经验；

2. 熟悉使用爬虫相关技术，如：python， scrapy等不限；

3. 能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题，构建完善的网络信息收集平台；

4. 熟悉Linux常用命令，独立完成日常部署更新等；

5. 具备较强的团队协作精神，工作责任心强，良好的沟通、理解、执行能力；

6. 熟悉高并发、高性能的分布式系统的设计及应用，熟悉常用数据存储，各种数据处理技术优先。

岗位职责：

1. 负责爬虫和数据采集模块的设计和开发，针对不同的网页特点，进行合理布局规划配置；

2. 实现数据提取、清洗、结构化、入库、统计分析等需求，为业务提供可靠稳定的数据服务；

3. 建立爬虫监测体系，及时分析及解决爬虫在运行过程中出现的缺陷；

4. 设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码等难点，提升网页抓取的效率和质量；

5. 解决实际开发过程碰到的各类问题。