【广州线下】爬虫开发工程师

职位概述

岗位是做啥的？ ● 设计并实现高效、稳定、可扩展的爬虫系统，确保数据的实时性与完整性 ● 深入研究各类反爬机制，开发绕过验证码、限流、IP封禁等策略，提升爬虫成功率 ● 实现代理池、动态 UA、Cookies 管理、Session 维持等反爬解决方案 ● 提升爬虫性能，优化爬取速度、数据存储结构及请求并发模型 ● 与数据分析、产品团队合作，理解数据需求并提供高质量数据支持

职责描述

-

任职要求

-

薪酬说明

-

联系方式

• email:[email protected]

项目叙述

岗位是做啥的？ ● 设计并实现高效、稳定、可扩展的爬虫系统，确保数据的实时性与完整性 ● 深入研究各类反爬机制，开发绕过验证码、限流、IP封禁等策略，提升爬虫成功率 ● 实现代理池、动态 UA、Cookies 管理、Session 维持等反爬解决方案 ● 提升爬虫性能，优化爬取速度、数据存储结构及请求并发模型 ● 与数据分析、产品团队合作，理解数据需求并提供高质量数据支持 入职要求是啥？ ● 不限学历和专业 ● 熟练使用Python技术栈： Scrapy、Playwright、Selenium、Httpx、Requests 等爬虫框架与库 ● 熟悉反爬策略，包括但不限于代理池、IP轮换、验证码识别、动态加载页面解析、JavaScript 渲染页面抓取等 ● 有丰富的绕过网页限制经验，掌握如浏览器指纹、Cookies 仿真、Session 维持、前端加密破解等技术 ● 熟悉异步编程、多进程、分布式爬虫架构，具备大规模数据爬取与存储经验

General

岗位是做啥的？ ● 设计并实现高效、稳定、可扩展的爬虫系统，确保数据的实时性与完整性 ● 深入研究各类反爬机制，开发绕过验证码、限流、IP封禁等策略，提升爬虫成功率 ● 实现代理池、动态 UA、Cookies 管理、Session 维持等反爬解决方案 ● 提升爬虫性能，优化爬取速度、数据存储结构及请求并发模型 ● 与数据分析、产品团队合作，理解数据需求并提供高质量数据支持 入职要求是啥？ ● 不限学历和专业 ● 熟练使用Python技术栈： Scrapy、Playwright、Selenium、Httpx、Requests 等爬虫框架与库 ● 熟悉反爬策略，包括但不限于代理池、IP轮换、验证码识别、动态加载页面解析、JavaScript 渲染页面抓取等 ● 有丰富的绕过网页限制经验，掌握如浏览器指纹、Cookies 仿真、Session 维持、前端加密破解等技术 ● 熟悉异步编程、多进程、分布式爬虫架构，具备大规模数据爬取与存储经验

简历投递方式

邮箱：[[email protected]](mailto:[email protected])

完整度元数据

评分：20 · 等级：F

缺失字段：company, location, salary, responsibilities

标签：无