# python第2组AI内容审核系统

**Repository Path**: three-gorges-university_11/python2_AI

## Basic Information

- **Project Name**: python第2组AI内容审核系统
- **Description**: python第2组AI内容审核系统
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-07-12
- **Last Updated**: 2026-07-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# python第2组AI内容审核系统

#

### AI 内容审核系统 
项目标识

•项目名称：AI 多模态内容审核系统
•版本：V1.0
•文档日期：2026-07-11
•文档状态：初稿
•适用角色：研发、测试、审核运营、平台运维、产品

#

### 目录
    1.项目简介
    2.核心能力总览
    3.用户角色与业务流程
    4.系统功能模块详解
    5.系统架构与处理流程
    6.技术栈选型
    7.页面导航结构
    8.核心数据结构
    9.产品迭代路线规划
    10.部署与接入说明
    11.多语言扩展方案
    12.合规与风险处置规则
    13.项目约束与规范
    14.附录

### 1. 项目简介
1.1 项目背景
互联网平台海量 UGC 内容（评论、帖子、短视频、图片、弹幕、昵称）存在涉政、色情、暴力、广告引流、辱骂、虚假信息等违规风险。传统纯人工审核存在效率低、覆盖不全、人力成本高、标准不统一等痛点。
本系统依托 NLP、图像目标检测、视频抽帧分析 AI 模型，打造文本 / 图像 / 视频一体化智能审核平台，实现机器自动初审 + 人工复审兜底，兼顾审核效率与判定准确性，为平台提供低成本、可扩展、可配置的内容安全解决方案。
### 1.2 项目目标
    1.一站式支持文本、图片、短视频全模态自动化审核；
    2.支持批量异步审核 + API 实时流式在线拦截；
    3.可视化规则配置、矩阵式敏感词库管理、风险分级自动处置；
    4.提供复审工作台、数据看板、完整审核报告导出；
    5.支持跨平台联邦违规特征库共享，持续提升模型识别精度；
    6.分阶段迭代多语言能力（中文→英文→日文），满足国际化平台合规需求。
### 1.3 核心优势
    •语义级审核：非简单关键词匹配，基于大模型理解上下文隐晦违规；
    •多级风险分级：高 / 中 / 低 / 安全四档自动处置，减少人工介入；
    •可解释输出：敏感词高亮、图片违规框、视频违规时间轴标记；
    •闭环优化：人工复审反馈入库，持续迭代模型；
    •高扩展性：批量任务、实时 API、联邦协作、多语言平滑扩容。
________________________________________
### 2. 核心能力总览
|能力分类|核心功能|
|--|--|
|多模态智能审核|文本审核、图像违规检测、视频分段抽帧分析|
|任务处理模式|批量异步上传审核、API 实时流式在线审核|
|风险处置引擎|四级风险自动拦截 / 标记待复审 / 放行|
|人工复审工作台|可疑内容加权队列、纠错反馈、模型样本回流|
|规则配置中心|场景 × 违规类型矩阵词库、阈值自定义、版本回滚|
|数据可视化看板|风险分布、24h 趋势、审核效能、实时拦截滚屏|
|报告管理|CSV/PDF 多格式报告、任务进度实时跟踪|
|跨平台协作|联邦审核、违规特征库同步、黑白产指纹共享|
|多语言扩展|V1.0 中文，V1.5 英文，V2.0 日文|


________________________________________
### 3. 用户角色与业务流程
3.1 系统角色
1.	审核管理员 
o	核心工作：配置审核规则、维护敏感词库、监控审核看板、管理联邦特征库、追溯历史内容
2.	审核员 
o	核心工作：人工复审存疑内容、对错判漏判提交纠错反馈
3.	系统管理员 
o	核心工作：API 数据源接入运维、系统部署、任务队列维护、权限管理
3.2 标准审核全流程
3.3 视频特殊处理流程
用户上传视频 → 异步任务队列 → 动态智能抽帧 → 逐帧 AI 检测
1.	快速判定：任意帧命中高风险，立即标记违规，同步继续完整分析；
2.	完整报告：全视频抽帧分析完成，输出违规时间轴、片段、置信度；
3.	可疑片段自动推送人工复审。
________________________________________
### 4. 系统功能模块详解
 **4.1 文本审核模块** 
•	模型底座：ChatGLM / BERT，语义级分析，规避关键词漏判；
•	语言支持：V1.0 中文，后续扩展英 / 日；
•	输出字段：风险等级、违规标签、置信度、命中敏感词高亮、词库来源；
•	策略隔离：评论 / 帖子 / 弹幕 / 昵称等场景独立阈值与词库。
**4.2 图像审核模块**
•	模型：YOLOv8 / PaddleDetection 目标检测；
•	检测类型：涉黄、涉暴、涉政、二维码广告、违禁物品；
•	可视化输出：违规区域坐标框、原图 / 标记图对比预览。
**4.3 视频审核模块**
•	支持格式：mp4/avi/mov/flv/wmv，单文件最大 2GB，最长 2 小时；
•	抽帧策略：短视频密集抽帧、长视频间隔抽帧 + 场景关键帧；
•	双模式：快速判定（高风险秒级拦截）、完整时序报告；
•	播放器联动：点击违规时间轴直接跳转对应片段。
**4.4 分级自动处置策略**
表格
|风险等级	|置信度区间	|自动处置动作	|后续流程|
|--|--|--|--|
|高风险	|>0.8	|自动拦截 / 下架，仅本人可见	|人工复审二次确认|
|中风险	|0.6~0.8	|标记违规待复审，临时展示	|进入复审队列（高优）|
|低风险	|<0.6	|标记存疑，正常展示	|复审队列（低优）|
|安全	|<0.3	|直接放行	|无人工流程|

### 4.5 批量上传与任务管理
•	文本：txt/csv/xlsx 批量导入，单文件≤50MB；
•	图片：单次 100 张，单张≤20MB，多图格式支持；
•	视频：单次 10 个，自定义抽帧策略；
•	进度实时展示，支持中途下载简易结果、完成后导出完整报告。
### 4.6 人工复审工作台
•	队列加权排序：高置信度可疑内容优先，多标签冲突内容上浮；
•	复审操作：通过 / 驳回；驳回支持二级原因 + 三级标签 / 区域修正；
•	反馈样本入库：原始内容 + 机器结果 + 人工修正，用于模型迭代。
### 4.7 规则配置中心（矩阵式词库）
•	矩阵结构：纵轴业务场景 × 横轴违规类型；
•	能力：独立场景阈值、专属敏感词、规则版本管理、一键回滚；
•	生效逻辑：规则变更仅对新内容生效，历史数据不变。
### 4.8 看板总览
•	风险分布饼图、24 小时违规趋势曲线；
•	审核效能指标：日处理总量、机器自动处置率、队列积压量；
•	高风险热内容优先列表、实时拦截滚屏。
### 4.9 实时流式审核
•	API 多数据源接入，支持 API Key/OAuth2 鉴权；
•	自定义轮询频率，实时控制台启停流任务；
•	流式可疑内容自动同步至复审队列。
### 4.10 审核报告管理
•	报告筛选：按内容类型、风险等级、时间范围检索；
•	导出格式：CSV（明细）、PDF（可视化审计文档，含截图附件）。
### 4.11 联邦审核协作
•	跨联盟同步文本词库、图像黑产指纹、正则规则；
•	半自动 / 全自动 / 仅告警三种同步模式；
•	用于黑产防控、突发事件违规特征快速同步。
________________________________________
### 5. 系统架构概要
5.1 分层架构
1.	接入层：Web 前端、批量上传接口、实时流式 API；
2.	调度层：消息队列 RabbitMQ/Celery 异步任务分发；
3.	引擎层：文本审核引擎、图像检测引擎、视频抽帧推理引擎；
4.	决策层：风险判定引擎、分级处置策略、规则匹配中心；
5.	业务层：复审工作台、看板统计、报告服务、联邦协作；
6.	存储层：PostgreSQL 持久化、Redis 缓存任务与实时统计。
5.2 核心数据流
内容接入 → 任务队列分发 → 多模态 AI 推理 → 规则 + 模型综合打分 → 自动处置动作执行 → 可疑内容入复审池 → 人工反馈回流样本库 → 全量数据归档生成报告。
________________________________________
### 6. 技术栈选型
表格
模块	技术方案	用途说明
文本审核模型	ChatGLM / BERT	中文语义违规识别
图像检测模型	YOLOv8 / PaddleDetection	违规区域目标检测
视频处理	OpenCV + 模型推理	视频抽帧、帧预处理
多语言模型	XLM-RoBERTa / mBERT	英、日文内容审核
后端服务	FastAPI	高性能异步 API 接口
前端 Web	Vue3 / React	审核后台、看板、复审工作台
数据库	PostgreSQL	业务数据、审核报告持久化
缓存	Redis	任务状态、实时统计缓存
消息队列	RabbitMQ / Celery	异步批量审核任务调度
________________________________________
### 7. 系统页面导航结构
表格
|   导航菜单| 页面名称  | 核心功能  |
|---|---|---|
|   📊 看板|  看板总览 |  全局审核数据、实时风险监控 |
|  📤 上传 | 批量上传任务  |  文本 / 图片 / 视频批量异步审核 |
|  🔴 实时 |  实时监测 |  API 数据源配置、流式在线审核 |
| 📝 审核  |  审核工作台 | 人工复审、纠错反馈  |
| 📋 规则  | 规则配置中心  |  矩阵词库、阈值、版本管理 |
| 📈 报告  | 审核报告管理  |  任务报告查询、CSV/PDF 导出 |
| 🔗 联邦  | 联邦协作  |  跨平台违规特征库同步管理 |
		
________________________________________
### 8. 核心数据结构（审核结果 JSON）
json`{
  "content_id": "唯一内容标识",
  "content_type": "text/image/video",
  "original_content": "原文/资源存储路径",
  "risk_level": "high/medium/low/safe",
  "risk_label": "涉政/涉黄/涉暴/广告引流/辱骂/其他",
  "confidence": 0.00~1.00,
  "details": {
    "text": {"matched_words": [], "matched_rules": []},
    "image": {"regions": [{"bbox": [x,y,w,h], "label": "", "confidence": 0.xx}]},
    "video": {"segments": [{"start_time": 0, "end_time": 0, "label": "", "confidence": 0.xx, "frame_screenshot": ""}]}
  },
  "disposal": "auto_blocked/flagged_for_review/passed",
  "audit_time": "时间戳",
  "reviewer_feedback": null | {}
}`
________________________________________
### 9. 产品迭代路线规划
表格
版本	交付周期	核心交付能力
V1.0 MVP	首期上线	基础三模态审核、批量任务、分级处置、人工复审、看板、规则配置
V1.5 增强版	迭代 1	英文多语言、实时流式 API、人工反馈驱动模型优化
V2.0 生态版	迭代 2	日文多语言、联邦跨平台协作、合规审计报告自动生成
________________________________________
### 10. 部署与接入说明
10.1 部署模式
1.	私有化部署：企业本地机房部署，内容数据不出内网，适合高合规平台；
2.	API 云接入：调用系统实时流式接口，对接业务平台内容流；
3.	混合部署：普通内容本地批量审核，高敏感内容深度二次复核。
10.2 接入方式
1.	批量上传：Web 页面手动拖拽 / 文件导入；
2.	实时流式：业务系统调用系统 HTTP API 推送文本 / 图片 / 视频链接；
3.	离线任务：SDK / 脚本上传本地文件批量异步处理。
10.3 环境依赖
•	GPU：推荐 16G + 显存，用于模型推理加速；
•	服务依赖：Python3.9+、Redis、PostgreSQL、RabbitMQ；
•	前端：Node.js 16+，支持 Docker 一键打包部署。
________________________________________
### 11. 多语言扩展策略
表格
版本	支持语言	实现方案
V1.0	中文	ChatGLM/BERT 中文专用模型 + 中文敏感词库
V1.5	英文	XLM-RoBERTa 多语言模型 + 独立英文词库
V2.0	日文	日语微调多语言模型 + 日文场景专属词库
策略：多语言大模型做语义理解，分语种敏感词库快速拦截突发违规变体。
________________________________________
### 12. 合规与风险处置规范
1.	自动拦截范围：高风险涉政、涉恐、色情、暴力内容直接拦截，禁止对外展示；
2.	复审兜底机制：所有中 / 低风险可疑内容强制进入人工复核，避免误封；
3.	日志留存：全量审核记录、处置记录、人工反馈永久归档，满足平台合规审计；
4.	数据安全：原始违规内容加密存储，仅授权管理员可查看；
5.	规则变更追溯：所有词库、阈值修改保留版本记录，支持回滚溯源。
________________________________________
### 13. 项目约束与规范
1.	规则修改仅对新提交内容生效，历史数据不自动重审；
2.	视频最大支持 2 小时，超过时长需分段上传；
3.	批量任务单文件 / 单批次存在大小上限，避免内存溢出；
4.	联邦同步特征默认半自动，管理员审核后启用，防止外部恶意词库污染；
5.	人工复审反馈样本自动脱敏后存入训练数据集，不泄露用户原始隐私。
________________________________________
### 14. 附录
附录 A 项目文档清单
1.	AI 内容审核系统_需求分析文档_V1.0.docx
2.	系统接口文档（API）
3.	数据库设计文档
4.	部署运维手册
5.	运营操作手册（审核员 / 管理员）
附录 B 术语说明
•	UGC：用户生成内容
•	置信度：模型判定违规概率（0~1）
•	联邦协作：跨平台违规特征共享机制
•	快速判定：视频高风险帧即时拦截机制
•	加权复审队列：按风险优先级排序的人工任务池
附录 C 联系方式
•	产品负责人：张钰洁
•	后端研发：张钰洁，刘希，邓依夏，符明鑫
•	算法团队：下班去吃巴西莓碗
•	运维对接：邓依夏


1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)