黑灰产治理项目
时间:2025 年 1 月 - 2025 年 4 月
项目描述:参与复旦大学”卓越杯”竞赛,负责社交媒体平台数据爬取和黑灰产信息识别
主要职责:
- 开发并优化数据爬虫系统,使用 Playwright 架构实现高效数据采集
- 设计并实现软色情引流信息的识别算法
- 分析数据特征,建立有效的黑灰产信息识别模型
- 参与系统优化,提高识别准确率和处理效率
获得经验:
- Playwright 框架的爬虫部署
- MangoDB 数据库的数据存储对接
- 团队协作的分工与协作方式
项目成果:
- 成功识别并打击大量软色情引流信息
- 有效遏制网络黑灰产活动
- 项目获得复旦大学”卓越杯”竞赛奖项
本项目的源代码托管在 GitHub 仓库。
注:该仓库只包含部分可复用的爬虫代码,非全部代码