爬虫开发工程师（27届）

岗位职责： 1、参与爬虫系统中网页端、移动端爬虫相关开发工作； 2、设计爬虫策略和反爬虫规则，提升网页抓取的效率和质量； 3、负责针对复杂反爬技术的破解和绕过，包括但不限于 Java script 混淆、签名校验、数据加密等； 4、能独立解决实际开发过程中碰到的各类问题。 任职要求： 本科及以上学历，计算机相关专业 1、熟悉 Python 语言，爬虫基本原理，熟悉常见的反爬虫技术，包括但不限于IP代理、User-Agent伪装、验证码识别等； 2、熟悉 TCP/IP、HTTP、WebSocket 协议，熟悉 HTML、XPath 等常见的数据抽取技术； 3、熟悉 Scrapy / Scrapy-redis 框架的使用； 4、熟悉 Redis、MySQL、ES 、Kafka等数据库常用操作； 5、具备 Java script 逆向分析能力，能够分析和理解 Java script 代码，处理前端混淆和动态加载的数据； 6、有海外爬虫开发经验者优先；