黑灰产治理项目

时间:2025 年 1 月 - 2025 年 4 月
项目描述:参与复旦大学”卓越杯”竞赛,负责社交媒体平台数据爬取和黑灰产信息识别

主要职责

  • 开发并优化数据爬虫系统,使用 Playwright 架构实现高效数据采集
  • 设计并实现软色情引流信息的识别算法
  • 分析数据特征,建立有效的黑灰产信息识别模型
  • 参与系统优化,提高识别准确率和处理效率

获得经验

  • Playwright 框架的爬虫部署
  • MangoDB 数据库的数据存储对接
  • 团队协作的分工与协作方式

项目成果

  • 成功识别并打击大量软色情引流信息
  • 有效遏制网络黑灰产活动
  • 项目获得复旦大学”卓越杯”竞赛奖项

本项目的源代码托管在 GitHub 仓库

注:该仓库只包含部分可复用的爬虫代码,非全部代码