[Remote] QNA3诚聘 爬虫工程师 薪水 20k RMB/USD

职位概述

## 公司/团队介绍 QnA3是一个基于 AI 大模型和 Web3 知识图谱的数据引擎

职责描述

• 负责开发和维护高效、稳定和可扩展的爬虫系统，从各种网站和数据源收集数据，并进行数据清洗和分析。
• 对爬虫系统进行性能调优和监控，确保系统高效稳定运行。
• 设计和实现数据存储和处理方案，包括数据存储、清洗、转换、处理和呈现。
• Good to have：
• 熟练掌握常用的爬虫框架和库，如 Scrapy 、Requests 、Beautiful Soup 等。
• 对新技术和新工具有浓厚的兴趣，愿意不断学习和创新。
• 算法能力、AI / NLP 能力、参与过开源项目；
• 在 ETL 、分布式系统、数据仓库、数据可视化方面拥有实际工作经验
• 能够进行基于 python fastapi 的服务器端开发

任职要求

• 有丰富的爬虫开发经验和良好的编程技能，熟练掌握 Python、TypeScript 或其他相关语言；熟悉 Web 技术和 HTTP 协议，有良好的网络编程基础；熟练掌握常用爬虫框架和库（如 Scrapy、Requests、Beautiful Soup）；熟悉 Postgres、Redis 等常用数据存储和处理技术；具备团队合作精神和良好沟通能力。加分项：熟悉 Dagster/DBT；具备算法、AI/NLP、开源项目经验；具备 ETL、分布式系统、数据仓库、数据可视化经验；可进行 Python FastAPI 服务端开发。

薪酬说明

• 20k RMB/USD
• 20k-30k

联系方式

• telegram:@res

项目叙述

## 岗位要求、职责 工作职责： * 负责开发和维护高效、稳定和可扩展的爬虫系统，从各种网站和数据源收集数据，并进行数据清洗和分析。 * 对爬虫系统进行性能调优和监控，确保系统高效稳定运行。 * 设计和实现数据存储和处理方案，包括数据存储、清洗、转换、处理和呈现。 技能要求： * 有丰富的爬虫开发经验和良好的编程技能，熟练掌握 Python 、TypeScript 或其他相关语言。 * 熟悉 Web 技术和 HTTP 协议，有良好的网络编程基础。 * 熟练掌握常用的爬虫框架和库，如 Scrapy 、Requests 、Beautiful Soup 等。 * 熟悉常用的数据存储和处理技术，如 Postgres 、Redis 等。 * 具备团队合作精神和良好的沟通能力，能够与其他团队成员协同工作。 * 对新技术和新工具有浓厚的兴趣，愿意不断学习和创新。 Good to have： * 熟悉基于 Dagster / DBT 的数据工程方法论 * 算法能力、AI / NLP 能力、参与过开源项目； * 在 ETL 、分布式系统、数据仓库、数据可视化方面拥有实际工作经验 * 能够进行基于 python fastapi 的服务器端开发

公司/团队介绍

QnA3是一个基于 AI 大模型和 Web3 知识图谱的数据引擎

薪资福利待遇

20k-30k

地点

remote

工作性质

## 岗位要求、职责 - 是否全职：是 - 是否远程：是

完整度元数据

缺失字段：无

薄弱字段：salary, contact

风险标记：无

仅评论补充字段：无

标签：无