[岗位职责：1、负责设计、开发、维护分布式爬虫系统；2、负责爬虫系统自动爬取、数据提取的核心算法和性能效果调优；3、负责爬虫系统的后台监控、报警模块的开发。任职要求：1、计算机相关专业；2、熟练掌握python/java/javascript任意语言，python优先；3、熟悉html、xpath、正则表达式、ajax、http协议等；4、熟悉scrapy、webmagic、flask、springboot等框架；5、熟悉爬虫抓取原理，了解反爬策略；6、熟悉关系型数据库(mysql/postgresql)、非关系型数据库(mongodb/hbase/elasticsearch)、缓存数据库(redis/memcached)；7、有良好的逻辑思维能力、沟通能力、学习能力、团队合作精神。加分项：1、有爬虫开发经历，掌握各种爬虫技巧；2、具有分布式、多线程/协程/进程的编程经验。]