[Remote] QNA3诚聘 爬虫工程师 薪水 20k RMB/USD

职位概述

## 公司/团队介绍 QnA3是一个基于 AI 大模型和 Web3 知识图谱的数据引擎

职责描述

• 负责开发和维护高效、稳定和可扩展的爬虫系统，从各种网站和数据源收集数据，并进行数据清洗和分析。
• 对爬虫系统进行性能调优和监控，确保系统高效稳定运行。
• 设计和实现数据存储和处理方案，包括数据存储、清洗、转换、处理和呈现。

任职要求

-

薪酬说明

• 20k RMB/USD

联系方式

• telegram

项目叙述

## 岗位要求、职责 工作职责： * 负责开发和维护高效、稳定和可扩展的爬虫系统，从各种网站和数据源收集数据，并进行数据清洗和分析。 * 对爬虫系统进行性能调优和监控，确保系统高效稳定运行。 * 设计和实现数据存储和处理方案，包括数据存储、清洗、转换、处理和呈现。 技能要求： * 有丰富的爬虫开发经验和良好的编程技能，熟练掌握 Python 、TypeScript 或其他相关语言。 * 熟悉 Web 技术和 HTTP 协议，有良好的网络编程基础。 * 熟练掌握常用的爬虫框架和库，如 Scrapy 、Requests 、Beautiful Soup 等。 * 熟悉常用的数据存储和处理技术，如 Postgres 、Redis 等。 * 具备团队合作精神和良好的沟通能力，能够与其他团队成员协同工作。 * 对新技术和新工具有浓厚的兴趣，愿意不断学习和创新。 Good to have： * 熟悉基于 Dagster / DBT 的数据工程方法论 * 算法能力、AI / NLP 能力、参与过开源项目； * 在 ETL 、分布式系统、数据仓库、数据可视化方面拥有实际工作经验 * 能够进行基于 python fastapi 的服务器端开发

工作性质

## 岗位要求、职责 - 是否全职：是 - 是否远程：是

技能要求

- 有丰富的爬虫开发经验和良好的编程技能，熟练掌握 Python 、TypeScript 或其他相关语言。 - 熟悉 Web 技术和 HTTP 协议，有良好的网络编程基础。 - 熟练掌握常用的爬虫框架和库，如 Scrapy 、Requests 、Beautiful Soup 等。 - 熟悉常用的数据存储和处理技术，如 Postgres 、Redis 等。 - 具备团队合作精神和良好的沟通能力，能够与其他团队成员协同工作。 - 对新技术和新工具有浓厚的兴趣，愿意不断学习和创新。

Good to have

- 熟悉基于 Dagster / DBT 的数据工程方法论 - 算法能力、AI / NLP 能力、参与过开源项目； - 在 ETL 、分布式系统、数据仓库、数据可视化方面拥有实际工作经验 - 能够进行基于 python fastapi 的服务器端开发

完整度元数据

评分：100 · 等级：A

缺失字段：无

标签：无