douyin-downloader:高效抖音内容采集与管理的开源自动化工具
2026/6/6 0:34:57
多模态AI驱动 | 实时目标检测 | 智能语义分割 | 深度隐患分析
代码获取:https://mbd.pub/o/bread/YZWakptvaw==
路面病害(如裂缝、坑洞、龟裂等)是影响道路交通安全的重要因素。传统的路面巡检主要依赖人工排查,效率低、成本高且易受主观因素影响。
本项目构建了一套基于 YOLOv8 是目标检测与 MobileSAM 语义分割的智能路面检测系统。系统不仅能毫秒级定位路面缺陷,还能通过MobileSAM自动生成精确的缺陷轮廓(Mask),并结合LLaVA 多模态大模型生成专业的中文维修建议报告,实现路面养护的数字化与智能化。
本系统融合了最先进的计算机视觉(CV)模型与大型语言模型(LLM):
graph TD Data[路面巡检影像] -->|视频流/图片| Core{AI 核心引擎} subgraph Core [智能分析核心] YOLO[YOLOv8 目标检测] -->|快速定位 Box| Logic[缺陷逻辑判断] Logic -->|发现缺陷| SAM[MobileSAM 智能分割] SAM -->|生成精确轮廓| LLaVA[LLaVA 多模态大模型] LLaVA -->|深度评估| Report[生成养护建议] end subgraph UI [交互应用层] Web[Gradio 可视化平台] Alert[实时标记与告警] History[历史病害库] end Logic -->|路面正常| Web Report --> Webbest.pt模型,无需重启即可应用最新能力。本项目使用PDD (Road Defect Dataset)格式数据:
| ID | 英文名称 (Name) | 中文说明 | 风险等级 |
|---|---|---|---|
| 0 | Crack | 路面裂缝 | ⚠️ 中 |
| 1 | Manhole | 井盖 | ℹ️ 低 |
| 2 | Net | 网裂/龟裂 | ⚠️ 高 |
| 3 | Pothole | 坑洞 | ⛔ 极高 |
| 4-6 | Patch-* | 各类修补痕迹 | ℹ️ 低 |
| 7-8 | Other | 其他异物 | ⚠️ 中 |
确保您的系统安装了 Python 3.8+ 和 PyTorch (GPU版推荐)。
# 安装项目依赖pipinstall-r requirements.txtpython run_web_advanced.py访问浏览器:http://localhost:7860
由于初始模型可能未针对 PDD 数据集微调,建议初次使用时:
RoadDefectDetection/ ├── config.yaml # 系统核心配置文件 ├── pdd.yaml # PDD 数据集配置 ├── run_web_advanced.py # Web 启动入口 ├── src/ │ ├── road_defect_detection_system.py # 核心业务类 (集成 YOLO + SAM) │ ├── yolo_detector.py # YOLOv8 封装 │ ├── llava_analyzer.py # LLaVA 分析接口 │ └── web_interface_advanced.py # Gradio 界面 ├── data/ # 数据集目录 └── runs/ # 训练日志与模型权重