项目简介#
车间生产环境中人员流动频繁、设备持续运行,人员安全和设备状态直接关系到生产过程的稳定性与安全性。
传统车间安全管理主要依赖人工巡检和人工查看监控画面,存在实时性不足、漏检风险较高、异常事件难以自动追踪等问题。普通视频监控虽然能够记录现场情况,但仍需要人工判断,难以主动完成异常识别和报警。
本项目面向工业车间安全监测场景,设计并实现了一套 基于 Kafka 事件驱动与 OpenPose 姿态识别的车间视频监测异常行为分析系统。
系统通过摄像头持续采集现场视频,对人员异常行为、设备异常状态和环境传感器数据进行实时分析,并在发现异常后自动生成报警事件。
整体形成:
视频采集 → 视频预处理 → 行为识别 → 异常判定 → 报警通知 → 可视化展示
的完整闭环。
系统采用事件驱动式组件化架构,通过 Kafka 实现各处理组件之间的异步解耦,并结合 MinIO、Redis、MySQL、YOLO、OpenPose、OpenCV、PLC/Modbus 等技术,实现视频分析、状态累计、异常检测、证据留存、现场报警和远程通知等功能。
1. 项目目标#
项目主要面向车间实时安全监测场景,监测对象包括:
- 人员行为;
- 设备运行状态;
- 环境传感器数据。
系统主要实现以下目标:
- 持续接入本地摄像头、RTSP 摄像头或 HTTP 视频流;
- 对视频进行切片、裁剪、压缩和降噪;
- 使用 YOLO 检测人员位置;
- 使用 OpenPose BODY_25 提取人体姿态关键点;
- 识别人员静止、疑似跌倒、倒地后无动作、异常姿态、离岗、聚集、快速移动和挥手求助等行为;
- 使用光流法检测设备区域异常震动;
- 通过 PLC/Modbus 采集车间传感器数据;
- 使用 Redis 实现跨视频片段状态累计;
- 自动生成异常事件并保存相关证据;
- 支持企业微信、PLC 声光报警、蜂鸣器和语音播报;
- 通过可视化大屏展示实时监测状态。
2. 系统需求分析#
2.1 视频采集#
系统支持多种视频输入方式:
- 本地摄像头;
- 工业 RTSP 摄像头;
- HTTP 视频源。
视频采集组件持续读取摄像头画面,并按照设定时间间隔切分为短视频片段。
视频片段和封面帧上传至 MinIO,同时向 Kafka 发布原始视频消息,为后续处理组件提供输入。
2.2 视频预处理#
由于原始视频中可能包含无关区域、复杂背景和较大的数据量,因此在识别前对视频进行预处理。
主要包括:
- ROI 区域裁剪;
- 视频压缩;
- 高斯降噪;
- 关键区域聚焦;
- 关键帧提取。
预处理的主要目标是降低数据量,并减少复杂背景对后续行为识别的影响。
2.3 人员行为识别#
系统主要识别以下人员异常行为:
- 人员长时间静止;
- 疑似跌倒;
- 倒地后无动作;
- 长时间弯腰或蹲下;
- 人员离岗;
- 人员聚集;
- 快速移动或奔跑;
- 挥手求助或异常挥动。
人员行为识别综合使用:
YOLO 人员检测 + OpenPose 姿态关键点 + 人员运动状态 + 持续时间
进行判断。
对于人员静止、倒地后无动作、人员离岗和人员聚集等异常,系统不能只依赖单帧图像,而是需要保存历史状态并累计持续时间。
2.4 设备与环境异常监测#
系统不仅监测人员行为,同时监测设备状态和工业现场传感器数据。
设备状态方面,通过 OpenCV 光流法分析设备 ROI 区域连续帧之间的运动变化,用于判断设备是否发生异常震动。
环境监测方面,通过 PLC/Modbus 读取:
- 电压;
- 电流;
- 功率;
- 频率;
- 温度;
- 湿度;
- 噪声;
- 烟雾;
- 光照;
- 拉绳位移。
当传感器数据超过设定阈值时,系统自动生成传感器异常事件。
2.5 异常报警#
当系统检测到异常后,可通过多种方式进行报警:
- 企业微信机器人消息;
- 异常文字描述;
- 证据图片;
- 异常视频片段;
- PLC 声光报警;
- 蜂鸣器报警;
- 语音播报。
报警信息包含:
- 异常类型;
- 异常等级;
- 发生时间;
- 监测任务编号;
- 异常描述;
- 图片及视频证据。
系统还设计报警冷却机制,避免同一异常在短时间内被重复推送。
3. 系统总体设计#
3.1 总体设计思路#
系统采用:
后台持续运行 + Kafka 消息队列解耦 + MinIO 对象存储 + Redis 状态缓存 + MySQL 业务数据库
的总体设计思路。
系统不是一次性处理单个视频文件,而是持续接入摄像头视频流,将视频切分为短片段,并通过 Kafka 消息驱动后续组件持续运行。
视频采集、视频预处理、行为识别、异常判定、报警通知和可视化展示被划分为相对独立的业务组件。
各组件之间不直接传输大型视频文件,而是:
- Kafka 传递 URL、识别结果和异常事件等结构化消息;
- MinIO 保存视频、截图和证据文件;
- Redis 保存实时状态和临时数据;
- MySQL 保存需要长期查询的数据。
flowchart TB
A[视频输入层] --> B[视频采集组件]
B --> K1[Kafka raw_video]
K1 --> C[视频预处理组件]
C --> K2[Kafka processed_video]
K2 --> D[行为识别组件]
D --> K3[Kafka recognition_result]
K3 --> E[异常判定组件]
E --> K4[Kafka abnormal_event]
K4 --> F[报警通知组件]
K4 --> G[可视化组件]
B --> M[(MinIO)]
C --> M
D --> M
B --> R[(Redis)]
E --> R
F --> R
E --> DB[(MySQL)]
F --> DB
F --> H[企业微信]
F --> P[PLC 声光报警]
F --> V[语音播报]
G --> UI[实时监控大屏]
3.2 系统分层#
系统主要包括五个层次。
视频输入层#
负责接入:
- 本地摄像头;
- RTSP 工业摄像头;
- HTTP 视频源。
组件处理层#
包括:
- 视频采集组件;
- 视频预处理组件;
- 行为识别组件;
- 异常判定组件。
中间件支撑层#
包括:
- Kafka;
- MinIO;
- Redis;
- MySQL。
报警层#
包括:
- 企业微信机器人;
- PLC 声光报警;
- 蜂鸣器;
- 语音播报。
可视化展示层#
负责展示:
- 实时摄像头画面;
- 人员及异常区域标注;
- 异常事件;
- 报警记录;
- 异常统计;
- 传感器实时数据及趋势。
3.3 技术栈#
Python#
系统主要开发语言,负责组件逻辑、视觉分析、数据处理与后端服务实现。
Kafka#
作为组件化系统的消息总线,实现视频处理不同阶段之间的异步消息传递与解耦。
MinIO#
负责保存:
- 原始视频;
- 处理后视频;
- 截图;
- 关键帧;
- 异常证据文件。
Redis#
负责保存:
- 人员实时状态;
- 异常持续时间;
- 设备震动历史;
- 报警冷却状态;
- 最新摄像头帧。
MySQL#
负责长期保存:
- 传感器数据;
- 异常事件;
- 报警记录;
- 相关业务数据。
OpenCV#
负责:
- 视频读取;
- 视频切片;
- 图像处理;
- 视频编码;
- 光流分析。
YOLO#
主要用于人员目标检测,同时作为 OpenPose 姿态识别的前置门控。
OpenPose BODY_25#
用于提取人体姿态关键点,为跌倒、异常姿态和挥手求助等行为判断提供基础。
Optical Flow#
通过分析设备 ROI 区域连续帧之间的像素运动变化,实现设备异常震动检测。
Modbus TCP#
负责 PLC 传感器数据读取以及蜂鸣器、声光报警等现场设备控制。
FastAPI#
用于提供实时监控大屏所需要的数据接口和相关后端服务。
ECharts / Web UI#
用于展示实时视频、异常统计、报警记录和传感器变化趋势。
4. 事件驱动消息架构#
Kafka 是整个组件化系统的消息总线。
不同处理阶段使用独立 Topic,实现组件之间的异步协同。
workshop.raw_video#
生产者: 视频采集组件
消费者: 视频预处理组件
主要传递:
- 原始视频 URL;
- 封面;
- 摄像头信息;
- 视频片段编号;
- 开始时间;
- 结束时间。
workshop.processed_video#
生产者: 视频预处理组件
消费者: 行为识别组件
主要传递:
- 处理后视频;
- 关键帧;
- ROI 信息;
- 视频上下文信息。
workshop.recognition_result#
生产者: 行为识别组件
消费者: 异常判定组件
主要传递:
- 人员行为结果;
- 人体姿态信息;
- 设备震动结果;
- 标注图片或视频信息。
workshop.abnormal_event#
生产者: 异常判定组件
消费者:
- 报警通知组件;
- 可视化组件。
主要传递:
- 异常类型;
- 异常等级;
- 异常描述;
- 发生时间;
- 图片与视频证据。
workshop.alarm_result#
生产者: 报警通知组件
消费者: 可视化组件
主要传递:
- 报警方式;
- 报警执行状态;
- 报警结果。
通过 Topic 将不同处理阶段解耦后,即使某个组件处理速度较慢,消息也能够暂存在 Kafka 中,而不会阻塞整个视频处理流程。
flowchart LR
A[Video Capture] -->|raw_video| B[Preprocess]
B -->|processed_video| C[Recognition]
C -->|recognition_result| D[Abnormal Judge]
D -->|abnormal_event| E[Alarm]
D -->|abnormal_event| F[Dashboard]
E -->|alarm_result| F
5. 六个核心组件#
5.1 视频采集组件#
视频采集组件是系统数据链路的起点。
主要负责:
- 连接摄像头;
- 持续读取视频帧;
- 按时间进行视频切片;
- 保存封面帧;
- 上传视频及图片到 MinIO;
- 将最新视频帧写入 Redis;
- 向 Kafka 发布原始视频消息。
系统支持:
- 本地摄像头;
- RTSP 视频源;
- HTTP 视频源。
对于每个视频片段,消息中记录:
monitor_idcamera_idclip_idraw_video_urlcover_frame_urlstart_timeend_timesequence
使后续组件能够围绕同一个监测任务持续处理数据。
5.2 视频预处理组件#
视频预处理组件监听:
workshop.raw_video
接收到消息后,从 MinIO 下载原始视频。
随后完成:
- ROI 裁剪;
- 高斯降噪;
- 视频压缩;
- 重点区域聚焦;
- 关键帧提取。
处理后的视频和关键帧重新上传 MinIO,并发布:
workshop.processed_video
供行为识别组件继续处理。
5.3 行为识别组件#
行为识别组件是整个系统的核心智能分析组件。
系统综合:
YOLO + OpenPose + OpenCV Optical Flow
分别完成:
- 人员定位;
- 人体姿态分析;
- 设备震动分析。
处理完成后生成:
- 人员行为结果;
- 人体关键点结果;
- 设备震动结果;
- 标注图片;
- 标注视频。
并发布到:
workshop.recognition_result
5.4 异常判定组件#
行为识别组件主要描述当前视频片段中的状态,而异常判定组件负责判断:
当前状态是否已经真正构成异常。
例如,人员短暂停顿并不能直接判定为“人员长时间静止”。
因此异常判定组件结合 Redis 中保存的历史状态,对连续视频片段进行累计。
当异常条件成立后,系统:
- 生成异常事件;
- 保存异常类型、等级、描述和发生时间;
- 关联证据图片与视频;
- 写入 MySQL;
- 发布到
workshop.abnormal_event。
5.5 报警通知组件#
报警通知组件监听:
workshop.abnormal_event
接收到异常事件后,根据异常类型和风险等级触发对应报警。
支持:
- 企业微信文本消息;
- 企业微信证据图片;
- 企业微信异常视频;
- PLC 声光报警;
- 蜂鸣器;
- 语音播报。
报警结果最终发布到:
workshop.alarm_result
供可视化组件展示。
5.6 可视化组件#
可视化组件负责提供车间实时监控大屏。
后端主要接口包括:
/workshop-dashboard/api/live/api/events/api/alarms/api/stats/api/sensors/api/camera-stream
其中 /api/camera-stream 优先读取 Redis 中缓存的最新摄像头帧,并以 MJPEG 形式返回。
这种方式避免了可视化模块重新占用摄像头资源。
6. 人员异常行为识别#
6.1 YOLO 人员检测门控#
YOLO 主要负责识别视频画面中的人员位置。
在系统中,YOLO 不仅承担目标检测任务,同时作为 OpenPose 的前置门控。
flowchart LR
A[Video Frame] --> B[YOLO Person Detection]
B -->|检测到人员| C[OpenPose]
B -->|未检测到人员| D[跳过姿态分析]
C --> E[关键点与姿态判断]
只有检测到有效人员区域时,系统才继续进行 OpenPose 姿态识别,从而减少复杂背景中的无效计算和误识别。
6.2 OpenPose BODY_25 姿态分析#
系统采用 OpenPose BODY_25 模型提取人体姿态关键点。
重点关注以下关键点。
头部#
用于判断人体高度变化和跌倒趋势。
肩部#
用于判断躯干方向,以及辅助判断弯腰姿态。
髋部#
用于判断人体中心位置和身体姿态。
膝盖#
用于判断蹲下和腿部弯曲状态。
脚踝#
辅助判断站立、蹲下和跌倒状态。
手腕#
主要用于判断挥手求助或异常挥动行为。
例如:
- 人体从竖直变为接近水平,同时头部、肩部和髋部高度明显下降,可作为疑似跌倒判断依据;
- 手腕多次高于肩部并出现明显摆动,可作为挥手求助判断依据;
- 肩部、髋部和膝盖之间的位置关系异常并持续一定时间,可用于判断弯腰或蹲下。
7. 异常规则设计#
7.1 人员长时间静止#
异常类型:
person_static
系统根据人员中心点位置变化和运动速度判断是否处于静止状态。
Redis 持续累计静止时间,当持续时间超过阈值后生成异常。
7.2 疑似跌倒#
异常类型:
person_fall
主要结合:
- 人体躯干方向;
- 头部高度;
- 肩部位置;
- 髋部位置;
- 姿态持续时间
进行综合判断。
7.3 倒地后无动作#
异常类型:
fall_no_movement
系统在疑似跌倒基础上进一步判断关键点和运动幅度。
如果人员在倒地后长时间没有明显动作,则提高风险等级。
7.4 异常姿态#
异常类型:
abnormal_posture
主要针对:
- 长时间弯腰;
- 长时间蹲下;
- 其他异常身体姿态。
7.5 人员离岗#
异常类型:
person_absent
如果指定区域连续一段时间没有检测到人员,则生成离岗或无人值守异常。
7.6 人员聚集#
异常类型:
crowd_gathering
系统统计同一区域内人员数量。
当人数超过设定阈值并持续一定时间时,生成聚集异常。
7.7 快速移动#
异常类型:
person_running
系统根据人员中心点在连续帧中的移动距离和速度判断是否出现快速移动行为。
7.8 挥手求助#
异常类型:
help_gesture
通过分析:
- 手腕;
- 肘部;
- 肩部
之间的位置变化,判断手腕是否高于肩部,并检测周期性大幅摆动。
8. 设备异常震动检测#
设备异常震动检测使用 OpenCV 光流法实现。
系统首先设置设备 ROI,然后计算连续视频帧之间的像素运动变化。
当设备正常运行时,ROI 区域运动变化较小;当设备出现明显抖动时,光流变化值明显增大。
系统主要输出:
optical_flow_valuevibration_scorevibration_level
其中:
optical_flow_value表示区域运动强度;vibration_score表示归一化震动评分;vibration_level表示震动等级。
当震动评分超过阈值并持续一定时间后,系统生成:
device_vibration
异常。
该方案无需额外训练设备震动模型,适合对固定设备区域进行轻量化实时监测。
9. Redis 跨片段状态累计#
部分异常无法通过单个视频片段准确判断。
例如:
- 人员静止;
- 倒地后无动作;
- 人员离岗;
- 人员聚集;
- 设备持续震动。
因此系统使用 Redis 保存实时历史状态。
人员上一次位置#
用于判断人员是否发生明显移动。
静止开始时间#
记录人员进入静止状态的时间。
静止持续时间#
用于判断是否达到长时间静止阈值。
最近出现时间#
用于判断人员是否长时间离岗。
设备震动历史#
用于判断设备震动是否持续发生。
报警冷却状态#
用于避免同一异常被持续重复报警。
最新摄像头帧#
供实时可视化模块直接获取最新画面。
通过状态累计机制,系统将:
单帧识别
扩展为:
连续时间状态判断
从而提高异常判定的稳定性。
10. MinIO 异常证据链#
视频和图片文件体积较大,因此系统没有将大型二进制数据直接写入 Kafka。
而是采用:
MinIO 保存文件 + Kafka 传递 URL 与元数据
的设计。
MinIO 中主要保存:
- 原始视频片段;
- 封面帧;
- 预处理视频;
- 关键帧;
- 标注视频;
- 异常截图;
- 异常证据视频。
当异常发生后,报警信息和可视化页面可以直接引用这些证据文件。
这种设计形成:
视频数据 → 识别结果 → 异常事件 → 图片 / 视频证据 → 报警记录
的完整异常证据链。
11. PLC / Modbus 工业现场联动#
系统通过 Modbus TCP 与 PLC 通信,实现:
- 工业传感器数据读取;
- 传感器异常阈值判断;
- 蜂鸣器和声光报警控制。
传感器主要包括:
- 电压;
- 电流;
- 功率;
- 频率;
- 温度;
- 湿度;
- 噪声;
- 烟雾;
- 光照;
- 拉绳位移。
高风险异常发生后,系统可以向指定 PLC 寄存器写入控制值。
flowchart LR
A[异常事件] --> B[Modbus TCP]
B --> C[PLC Register]
C --> D[蜂鸣器]
C --> E[声光报警]
从而实现软件异常识别与工业现场硬件之间的联动。
12. 企业微信报警#
企业微信机器人采用 Webhook 方式实现。
报警组件接收到异常后,构造:
- 异常类型;
- 异常等级;
- 异常描述;
- 发生时间;
- 监测任务;
- 图片证据;
- 视频证据。
然后通过 HTTP POST 推送给管理人员。
支持:
- 文本消息;
- 图片消息;
- 视频或文件消息。
通过企业微信远程通知、PLC 现场报警和语音播报组合,系统同时具备:
远程管理人员通知 + 现场工作人员提醒
能力。
13. 报警冷却机制#
为避免同一异常在短时间内持续重复推送,系统使用 Redis 实现报警冷却。
flowchart TD
A[检测到异常] --> B{是否存在报警冷却状态}
B -->|是| C[跳过重复报警]
B -->|否| D[执行报警]
D --> E[企业微信 / PLC / 语音]
E --> F[写入 Redis 冷却状态]
冷却时间结束后,如果异常仍然存在,则可以重新触发报警。
这一机制减少了重复消息干扰,提高报警信息的有效性。
14. 实时可视化大屏#
系统提供车间监测可视化页面,用于集中展示实时运行状态。
实时视频#
持续显示摄像头画面,并根据识别结果叠加:
- 人员检测框;
- 异常区域红框;
- 状态信息。
异常事件#
展示:
- 事件编号;
- 异常类型;
- 异常等级;
- 事件描述;
- 发生时间;
- 相关证据。
报警状态#
展示:
- 企业微信推送状态;
- PLC 声光报警状态;
- 语音播报状态。
异常统计#
统计:
- 异常类型分布;
- 异常等级分布;
- 报警数量变化。
传感器趋势#
展示:
- 温度;
- 湿度;
- 电压;
- 电流;
- 噪声;
- 烟雾;
- 光照;
- 拉绳位移
等数据的实时状态和变化趋势。
15. 系统测试#
15.1 视频采集测试#
分别使用:
- 本地摄像头;
- RTSP 摄像头
进行视频输入测试。
系统能够持续获取视频画面、生成视频片段、上传 MinIO,并向:
workshop.raw_video
发布原始视频消息。
15.2 视频预处理测试#
预处理组件能够消费原始视频消息,并完成:
- 视频下载;
- ROI 裁剪;
- 高斯降噪;
- 视频压缩;
- 关键帧提取;
- MinIO 上传;
- Kafka 消息发布。
最终向:
workshop.processed_video
发布预处理结果。
15.3 人员异常识别测试#
测试过程中,通过人员在摄像头画面中保持较长时间静止验证持续状态判断。
当人员位置变化较小,并且持续时间达到设定阈值后,系统能够生成:
person_static
异常。
此外,系统还围绕离岗、聚集、异常姿态等人员行为进行了规则设计和功能测试。
15.4 设备震动测试#
通过人工晃动设备或 ROI 内目标模拟异常震动。
当设备区域运动明显增强时:
vibration_scorevibration_leveloptical_flow_value
均发生变化,系统能够输出设备异常震动结果。
15.5 传感器异常测试#
对:
- 温度;
- 湿度;
- 噪声;
- 烟雾;
- 拉绳位移
等传感器进行阈值异常测试。
当数据超过设定阈值时,系统能够生成传感器异常事件。
15.6 可视化展示测试#
系统能够在监控大屏中展示:
- 实时摄像头画面;
- 人员与异常红框;
- 异常事件列表;
- 报警状态;
- 异常统计;
- 传感器趋势。
验证了从后台分析到前端展示的完整数据链路。
16. 项目特点#
16.1 事件驱动式组件化架构#
系统没有将视频处理流程编写成一个大型串行程序,而是拆分为:
视频采集 → 视频预处理 → 行为识别 → 异常判定 → 报警通知 → 可视化
六个相对独立的组件。
Kafka 作为消息总线连接这些组件,使系统能够持续、异步运行。
16.2 多技术融合的工业视觉分析#
系统综合使用:
YOLO + OpenPose + Optical Flow
分别解决:
- 人员定位;
- 姿态分析;
- 设备运动分析。
并通过规则引擎和状态累计,将视觉结果进一步转化为工业安全异常事件。
16.3 跨视频片段异常判断#
通过 Redis 保存历史状态,将单个视频片段的识别结果扩展为连续时间判断。
相比单帧识别,更符合:
- 长时间静止;
- 倒地无动作;
- 人员离岗;
- 人员聚集;
- 持续设备震动
等实际异常的业务特征。
16.4 完整异常证据链#
通过 Kafka、MinIO、Redis 和 MySQL 的协同,系统保存:
- 视频片段;
- 异常截图;
- 识别结果;
- 传感器数据;
- 异常事件;
- 报警记录。
使异常事件具备:
可追踪、可展示、可复查
的能力。
16.5 软件与工业现场联动#
系统不仅完成视频识别,还进一步通过:
- PLC;
- Modbus TCP;
- 传感器;
- 声光报警;
- 企业微信;
- 语音播报
实现软件系统、现场设备和管理人员之间的联动。
17. 总结#
本项目面向车间实时安全监测场景,完成了从系统需求分析、总体架构设计、组件接口设计到核心功能开发和系统测试的完整过程。
系统采用 Kafka、MinIO、Redis 和 MySQL 共同支撑的事件驱动式组件化架构:
- Kafka 负责组件之间的消息流转;
- MinIO 负责视频与证据文件存储;
- Redis 负责人员状态、设备震动历史、报警冷却和实时画面缓存;
- MySQL 负责传感器数据、异常事件和报警记录的持久化。
在视觉分析方面,系统结合:
- YOLO 人员检测;
- OpenPose BODY_25 姿态关键点分析;
- OpenCV 光流设备震动检测。
并通过异常规则与 Redis 历史状态累计,实现人员行为、设备状态和传感器异常的综合判断。
在报警与展示方面,系统进一步实现:
- 企业微信远程报警;
- PLC 声光报警;
- 蜂鸣器报警;
- 语音播报;
- 视频及图片证据留存;
- 实时可视化大屏。
最终形成:
视频采集 → 视频预处理 → 行为识别 → 异常判定 → 报警通知 → 可视化展示
的完整工业安全监测闭环。
通过该项目,完成了计算机视觉算法、事件驱动架构、工业中间件、实时状态管理、工业通信和可视化展示等技术在同一个工业软件系统中的综合应用。
