摘要
针对苹果成熟度分级依赖人工、主观性强且效率低的问题,本文提出一种基于YOLOv8的苹果成熟度自动检测系统。系统能够识别五个类别:20%成熟度、50%成熟度、75%成熟度、100%成熟度以及烂果。模型训练使用2,144张标注图像,并在独立验证集(359张)和测试集(225张)上进行评估。实验结果表明,模型在验证集上的平均精度均值(mAP@0.5)达到94%,其中50%成熟度和烂果的检测精度分别高达0.991和0.972。模型推理速度为9.1毫秒/张,满足实时检测需求。混淆矩阵分析显示,20%成熟度类别因样本较少(仅30个实例)且与背景和100%成熟度存在视觉混淆,导致召回率偏低(0.682)。总体而言,该系统在多数成熟度等级上取得了高精度、高效率的检测性能,具备良好的实际应用潜力。
引言
苹果成熟度是决定其采摘时机、贮藏寿命和商品价值的关键指标。传统分级方式主要依赖人工视觉与经验判断,不仅效率低下,而且容易受疲劳、光照环境等因素影响,导致分级标准不一致。随着计算机视觉与深度学习技术的发展,基于卷积神经网络的目标检测方法在农产品品质检测中展现出巨大潜力。
YOLO系列模型因其端到端的检测机制和优异的实时性能,被广泛应用于果实检测与分级任务。然而,苹果成熟度呈现连续渐变特征,不同等级之间边界模糊,尤其是低成熟度样本(如20%)与背景及其他成熟度之间存在视觉相似性,给自动化检测带来挑战。
目录
摘要
引言
功能模块
1、用户管理模块
2、界面与交互模块
3、检测源管理模块
4、检测参数配置模块
5、YOLO检测核心模块
6、结果显示模块
7、结果保存模块
8、工具栏功能
9、辅助功能
10、数据校验模块
背景
数据集介绍
训练过程
训练结果
整体性能指标编辑
各类别详细性能编辑编辑编辑
分析:
混淆矩阵分析
训练曲线与收敛情况编辑
常用标注工具
功能模块
✅用户登录注册:支持密码检测,密码加密。
注册
登录
✅图片检测:可对图片进行检测,返回检测框及类别信息。
✅参数实时调节(置信度和IoU阈值)
✅支持选择检测目标:可以选择一个或者多个类目的目标进行检测
✅视频检测:支持视频文件输入,检测视频中每一帧的情况。
✅摄像头实时检测:连接USB 摄像头,实现实时监测。
✅日志记录:日志标签页记录操作和错误信息,带时间戳
✅结果保存模块:支持图片/视频/摄像头检测结果保存
1、用户管理模块
| 功能 | 描述 |
|---|---|
| 用户注册 | 用户名、密码、确认密码、邮箱(选填)注册,密码SHA256加密存储 |
| 用户登录 | 用户名密码验证,自动跳转主界面 |
| 用户数据存储 | JSON文件存储用户信息(密码加密、注册时间、邮箱) |
| 登录状态 | 主界面显示当前登录用户名 |
2、界面与交互模块
| 功能 | 描述 |
|---|---|
| 玻璃效果界面 | 半透明毛玻璃背景,圆角边框,现代化视觉风格 |
| 无边框窗口 | 自定义标题栏,支持窗口拖动、最小化、最大化、关闭 |
| 响应式布局 | 主窗口三栏布局(左侧控制区、中央显示区、右侧信息区) |
| 状态栏 | 显示设备信息、模型状态、当前用户、实时时间 |
3、检测源管理模块
| 功能 | 描述 |
|---|---|
| 图片检测 | 支持JPG/JPEG/PNG/BMP格式图片载入 |
| 视频检测 | 支持MP4/AVI/MOV/MKV格式视频载入 |
| 摄像头检测 | 实时调用摄像头(默认ID 0)进行检测 |
| 检测源切换 | 下拉菜单切换三种检测模式,自动更新界面状态 |
4、检测参数配置模块
| 功能 | 描述 |
|---|---|
| 置信度阈值 | 滑动条调节(0-100%,步长1%),实时显示当前值 |
| IoU阈值 | 滑动条调节(0-100%,步长1%),实时显示当前值 |
| 类别选择 | 动态生成检测类别复选框,支持全选/取消全选 |
| 参数同步 | 参数实时同步到检测器核心 |
5、YOLO检测核心模块
| 功能 | 描述 |
|---|---|
| 模型加载 | 加载best.pt模型文件,自动检测GPU可用性,支持CPU/GPU切换 |
| 多模式检测 | 图片检测、视频检测、摄像头实时检测 |
| 检测线程 | 基于QThread的多线程处理,避免界面卡顿 |
| 检测结果 | 返回目标类别、置信度、边界框坐标 |
| FPS计算 | 实时计算处理帧率 |
| 进度反馈 | 视频处理进度条实时更新 |
6、结果显示模块
| 功能 | 描述 |
|---|---|
| 实时画面 | 中央区域显示检测结果图像(带标注框) |
| 统计信息 | 检测状态、目标数量、FPS、处理帧数实时更新 |
| 检测列表 | 右侧列表显示当前帧所有检测到的目标(类别+置信度) |
| 日志记录 | 日志标签页记录操作和错误信息,带时间戳 |
| 占位显示 | 未选择检测源时显示系统LOGO和提示文字 |
7、结果保存模块
| 功能 | 描述 |
|---|---|
| 保存开关 | 复选框控制是否保存检测结果 |
| 路径选择 | 自定义保存路径,支持图片/视频格式自动识别 |
| 自动命名 | 保存文件自动添加时间戳(detection_result_20240101_120000.jpg) |
| 视频保存 | 支持检测结果视频录制(MP4格式) |
| 手动保存 | 工具栏保存按钮可随时保存当前画面 |
| 保存反馈 | 保存成功弹窗提示,日志记录保存路径 |
8、工具栏功能
| 功能 | 描述 |
|---|---|
| 图片按钮 | 快速切换到图片检测模式并打开文件选择器 |
| 视频按钮 | 快速切换到视频检测模式并打开文件选择器 |
| 摄像头按钮 | 快速切换到摄像头检测模式 |
| 保存按钮 | 手动保存当前显示画面 |
9、辅助功能
| 功能 | 描述 |
|---|---|
| 错误处理 | 统一错误弹窗提示,日志记录错误详情 |
| 资源清理 | 检测停止时自动释放摄像头、视频文件、视频写入器资源 |
| 时间显示 | 状态栏实时显示系统时间 |
| 模型状态 | 状态栏显示模型加载状态和当前设备(CPU/GPU) |
10、数据校验模块
| 功能 | 描述 |
|---|---|
| 注册验证 | 用户名长度≥3,密码长度≥6,密码一致性检查,邮箱格式验证 |
| 协议确认 | 注册前需勾选同意用户协议 |
| 文件校验 | 模型文件存在性检查,文件大小验证(≥6MB) |
| 输入非空 | 登录/注册时必填项非空检查 |
背景
苹果成熟度检测在智能农业中具有重要意义。传统的成熟度判断方法包括经验视觉评估、硬度计测试和糖度测量等,这些方法或依赖主观判断,或需要接触式测量,效率低且难以规模化应用。近年来,深度学习尤其是目标检测算法在果实检测与分级领域取得了显著进展。YOLOv8作为Ultralytics发布的最新一代目标检测模型,在精度和速度之间实现了良好的平衡,支持多类别分类与实时推理,适合嵌入智能分选设备或农业机器人视觉系统中。
苹果成熟度不同于简单的有无检测,要求模型能够区分从低成熟(20%)到完全成熟(100%)的多个连续等级,同时识别腐烂果实。这种细粒度分类任务对数据质量和模型能力提出了更高要求。此外,实际应用中苹果背景复杂(枝叶、地面、容器等)、光照条件多变,进一步增加了检测难度。因此,构建一个稳定、高效的苹果成熟度自动检测系统,对于提升苹果产后处理自动化水平具有重要意义。
数据集介绍
本研究使用的苹果成熟度数据集共包含2,728张标注图像,划分为训练集、验证集和测试集,具体分布如下:
| 数据集 | 图像数量 |
|---|---|
| 训练集 | 2,144张 |
| 验证集 | 359张 |
| 测试集 | 225张 |
数据集共包含5个类别,类别名称及在验证集中的实例数量如下:
| 类别名称 | 验证集实例数 |
|---|---|
| 100-成熟度 | 801 |
| 20-成熟度 | 30 |
| 50-成熟度 | 217 |
| 75-成熟度 | 58 |
| 烂果 | 187 |
训练过程
训练结果
整体性能指标![]()
mAP@0.5:0.94(94%)
mAP@0.5:0.95:0.759(75.9%)
各类别详细性能![]()
![]()
![]()
| 类别 | Precision | Recall | mAP@0.5 | mAP@0.5:0.95 | 实例数 |
|---|---|---|---|---|---|
| 100-ripeness | 0.93 | 0.899 | 0.94 | 0.759 | 801 |
| 20-ripeness | 0.816 | 0.682 | 0.779 | 0.334 | 30 |
| 50-ripeness | 0.986 | 0.967 | 0.991 | 0.841 | 217 |
| 75-ripeness | 0.975 | 0.917 | 0.965 | 0.766 | 58 |
| rotten_apple | 0.947 | 0.927 | 0.972 | 0.861 | 187 |
分析:
50-ripeness 和 rotten_apple表现最佳,mAP@0.5分别达到0.991和0.972,说明这两类非常容易区分。
100-ripeness表现也很好,Recall略低(0.899),说明有少量漏检。
75-ripeness的实例数较少(58),但性能依然不错。
20-ripeness是表现最差的类别:
实例数最少(30)
Recall仅0.682
mAP@0.5:0.95 仅0.334
说明模型在20成熟度上存在明显漏检和高IoU下的定位不准
混淆矩阵分析
从confusion_matrix.png可以看出:
20-ripeness 混淆严重:
有7个被误检为背景
有7个被误检为100-ripeness
说明20成熟度的苹果与背景和完全成熟苹果在视觉上不够区分
100-ripeness有5个被误检为20-ripeness,4个被误检为50-ripeness
75-ripeness和rotten_apple几乎没有被误检为其他类别
背景误检极少,说明模型对目标区域聚焦良好
训练曲线与收敛情况![]()
训练损失(box, cls, dfl):稳定下降,无明显震荡
验证损失:同样下降,无过拟合迹象
Precision 和 Recall:整体平稳上升
mAP@0.5 和 mAP@0.5:0.95:稳定收敛,最终值良好
常用标注工具
假设您现在准备好进行标注。有几种开源工具可以帮助简化数据标注流程。以下是一些有用的开放标注工具:
Label Studio:一个灵活的工具,支持各种标注任务,并包含用于管理项目和质量控制的功能。 CVAT:一个强大的工具,支持各种标注格式和可定制的工作流程,使其适用于复杂的项目。 Labelme:一个简单易用的工具,可以快速标注带有多边形的图像,非常适合简单的任务。 LabelImg: 一款易于使用的图形图像标注工具,特别适合以 YOLO 格式创建边界框标注。
这些开源工具经济实惠,并提供一系列功能来满足不同的标注需求。
界面核心代码: