MRDVS体积检测功能使用手册
1. 简介
体积检测算法是迈尔微视(MRDVS)开发的专属于体积测量场景使用，用于自研 M 系列相机在物流、快递、煤场、仓储等场景使用。体积检测算法在相机内部运行，无需搭配外置工控机。算法支持静态、动态检测。
软件只需用户进行相机外参标定、绘制检测范围，即可对单个 / 多个物体检测测量。外参标定可自动获取标定结果，可支持多相机拼接检测。
本文主要介绍迈尔微视体积检测功能部署及使用。
2. 体积检测应用场景
2.1 物流行业
- 通过获取货物的体积重量等信息，实现精细化运营，有利于提高车辆装载率，降低用车成本、运输成本以及人工成本，实现全流程的降本增效。
- 能快速检测货物/箱体体积重量，一键计算运费。配合地磅，还能有效地对货车和集装箱卡车进行测量，确保整车不超重。
2.2 快递行业
在快递收发的时候，借助智能体积测量设备，能快速获取货物的体积重量等信息，数据对接到内部系统，便于查找和翻查，既避免了数据丢失的问题，也有效减少了人工投入和提高作业效率。
2.3 煤矿行业
传统大型煤炭矿石堆体积测量方式通常采用全站仪、RTK单点测量方式，且需要人工对特征点进行精准提取。然而由于大型煤炭矿石堆通常不便攀爬，精准特征点的提取因而异常困难；同时单点测量方式测量数据密度小，也无法精准获取煤炭矿石堆的体积，导致作业效率极低。
2.4 仓储行业
在物流、仓储甚至一般工业行业中，AGV搬运货物，出入库需要进行货物体积、重量检测。
3. 解决问题
在物流、仓储等工业行业中，获取物品体积数量、掌握物品出入库情况对生产库存管理具有重要意义。然而传统解决方案始终面对着技术手段缺乏、测量误差大、人工管理效率低下及监管困难等难题。
迈尔微视ToF相机体积检测比雷达、结构光、2D相机更具有优势，迈尔微视相机部署简单，仅需相机固件支架、电源线、网线，算法在相机内部运行，无需多余工控机配置，使用更加便捷、成本相比雷达等更低。
4. 相机硬件部署指南
4.1 使用相机类型
|
相机类型 |
M系列相机 |
 |
4.2 相机安装方式
体积检测相机M4采用固定式安装方式，相机向下拍照，尽量保证相机镜面与地面平行，如下图为安装示意图。
图4.1 安装示意图
4.3 相机连接
相机24V供电，通过超 6 类 / 7 类网线连接，相机安装部署后，通过笔记本电脑打开体积检测上位机软件，进行相机的外参标定和检测范围设置。算法会实时在相机内部运行，多台相机部署，需通过千兆交换机进行连接。
5. 相机软件安装指南
5.1 软件安装流程
- 第一次使用软件，可以参照如下流程完成操作。
5.2 体积检测上位机运行环境要求
建议运行体积检测上位机设备满足要求。
|
操作系统 |
Windows10 及以上 |
|
CPU |
建议 Intel® Core™ i5 七代及以上 |
|
内存 |
8G 及以上 |
|
GPU |
Intel(R) UHD Graphics/核显以上 |
5.3 安装相机上位机软件
- 相机上位机软件可通过迈尔微视知识库进行获取并下载。点击进行下载→软件下载
- 双击进行安装Lanxin-MRDVS上位机软件，需要上位机安装在c盘以外。
- 选择使用的语言后，点击【确定】，选择C盘以外的安装目录，并点击【下一步】。
- 勾选【创建桌面快捷方式】，点击【下一步】。
- 点击【安装】按钮，开始安装软件。
- 安装完毕后，可运行相机上位机软件。
5.4 安装体积检测上位机软件
- 将获得的体积检测上位机软件，复制到相机上位机 \Lanxin-MRDVS\Tools 中。
- 替换时，选择【替换目标中的文件】。
- 双击点开即可运行软件。
- 左侧设备列表栏，相机状态处于【Unknown】表示相机没有体积检测算法。
5.5 体积检测软件升级
体积检测软件升级，仅需要替换“.exe”文件。
5.6 算法升级
- 相机算法升级需要打开相机上位机软件，双击【LxCameraViewer】。
- 点击【打开】按钮，进行查看相机成像。
- 点击基础工具→功能设置→【固件升级】，进行体积检测算法刷入。(算法请找技术支持人员获取)
- 点击【执行】按钮后，选择“体积检测算法”，点击【打开】按钮，开始算法刷入。
- 算法刷入过程中，相机会重新启动，左侧设备列表相机ID会消失，待重新显示后，表示刷入成功。
- 此时，再次打开体积检测软件，设备列表显示为绿色。
6. 体积检测软件界面
6.1 体积检测程序启动
- 双击【 LxApplicationViewer.exe 】程序，启动体积检测软件。点击左侧设备列表中在线的相机，打开相机图像。
- 当前用户选择管理员，无需输入密码，直接点击确认进入管理员模式(用户模式无法进行体积检测参数设置)。管理员模式会多出体积检测、相机配置选项。
6.2 基础工具
基础工具主要包含用户切换、理想地面、外参地面、多个体积盒显示、触发按钮、导出存图、历史回放、体积状态。
|
基础工具 |
功能含义 |
|---|---|
|
用户切换 |
切换权限，用户权限：仅查看检测结果。 管理员权限：可进行相机配置、体积检测参数配置等 |
|
理想地面 |
地面参照水平线，可关闭。 |
|
外参地面 |
相机外参标定高度的水平面，可关闭。 |
|
体积盒显示 |
当检测区域有多个物体检测时，可切换不同体积盒，查看不同物体检测结果。 |
|
触发按钮 |
设置为触发模式后，可调用此触发按钮，进行图像和结果获取。 |
|
导出存图 |
导出存储的图像 |
|
历史回放 |
查看RGB和TOF的图像日志。 |
|
体积检测结果显示 |
显示检测结果，物体个数、物体长、宽、高。 |
6.3 全局配置
切换相机工作模式。
6.4 体积检测
|
体积检测全局配置 |
功能含义 |
|---|---|
|
算法版本号 |
当前算法版本信息。 |
|
触发模式 |
触发开关按钮，当将触发模式开启后，点击“保存并下发”按钮，即成功开启。 |
|
向上检测 |
相机坐标系反向检测（当前为向下检测，即检测平面到物体表面距离，开启向上检测后，即检测物体表面到相机的距离）。 |
|
检测频率 |
算法检测的频率。即多少ms刷新图像+结果数据。 |
|
检测平面距离 |
相机距离检测平面距离，此距离跟测量高度有关。单位：mm。 |
|
邻域数量阈值 |
滤波参数，无需更改。默认值即可。 |
|
邻域距离阈值 |
滤波参数，无需更改，默认值即可。 |
|
法向量滤波阈值 |
物体边缘圆角滤波参数，推荐60（一般无需调整）。 |
|
法向量距离阈值 |
滤波参数，推荐值20-30（可兼容大部分检测物体）。 |
|
最小点数量 |
当物体点云 大于 最小点数量才认为有物体。 |
|
最小X |
物体最小长度，小于此值，无法检测。单位：mm。 |
|
最小Y |
物体最小宽度，小于此值，无法检测。单位：mm。 |
|
最小Z |
物体最小高度，小于此值，无法检测。单位：mm。 |
|
体积检测区域配置 |
功能含义 |
|---|---|
|
最小X |
体积检测框X方向最小值 |
|
最大X |
体积检测框X方向最大值 |
|
最小Y |
体积检测框Y方向最小值 |
|
最大Y |
体积检测框Y方向最大值 |
|
最小Z |
体积检测框Z方向最小值 |
|
最大Z |
体积检测框Z方向最大值 |
6.5 相机配置
|
相机设置 |
功能含义 |
|---|---|
|
相机名称 |
修改当前相机的名称，当有多台时，可通过相机名称进行判断。 |
|
仿真模式 |
内部使用，用户无需打开。 |
|
存图模式 |
开启算法存图，在相机内部进行存储图片数据。 |
|
取图模式 |
取图模式分为MDS和SDK，采用MDS不会占用相机权限，可正常打开相机上位机，采用SDK会占用相机权限，运行算法时，无法打开上位机。 |
|
x |
相机标定的x位置 |
|
y |
相机标定的y位置 |
|
z |
相机标定的距离地面高度 |
|
roll |
相机标定的角度 |
|
pitch |
相机标定的角度 |
|
yaw |
相机标定的角度 |
|
理想地面 |
默认即可。 |
|
保存并下发 |
外参标定完成后，通过点击【保存并下发】按钮进行保存，否则参数不生效 |
|
从相机读取配置 |
从相机读取当前配置参数 |
|
外参标定 |
标定相机距离地面高度、相机roll、pitch、yaw角度。 |
6.6 语言
中英文进行切换。
6.7 状态栏
|
状态栏 |
功能含义 |
|---|---|
|
RGB |
勾选后，查看RGB图像 |
|
点云 |
勾选后，查看点云图像 |
|
停止算法 |
点击停止算法后，在下一次相机上电前，不会启动算法。 |
|
升级固件 |
可进行算法固件升级 |
|
重启相机 |
将相机重新启动。 |
7. 体积检测部署流程
打开体积检测软件后，默认为RGB图，点击进行切换为点云图后，图像会为黑色状态，需要将鼠标移动到图像显示区域，通过鼠标滚轮上下滑动、按住鼠标左键移动，才会显示点云数据。
7.1 相机网络配置
- 以Win10系统为例，双击控制面板
- 进入控制面板后，点击“查看网络状态和任务”。
- 进入网络和共享中心界面，点击“更改适配器设置”。
- 进入网络连接界面，鼠标双击选择相机连接的以太网。
- 查看以太网状态（建议使用千兆网口），并点击“属性”按钮。
- 进入以太网属性界面，找到“Internet协议版本4(TCP/IPv4)”，双击打开。
- 进入Internet协议版本4(TCP/IPv4)界面，选择“使用下面的IP地址”，进行IP地址和子网掩码和默认网关的书写。
- IP地址设置：192.168.100.xxx 子网掩码：255.255.255.0 默认网关：192.168.100.1，如下图设置好的IP，设置完成后点击“确定”按钮。
- 点击确定按钮后，会自动回退到上一个界面，再次点击“确定”，完成网络配置。
7.2 防火墙关闭确认
- 将相机固定安装后，进行部署第一步，需要将电脑的防火墙关闭。
- 以Win10系统为例，双击桌面的【控制面板】，进入后点击【系统和安全】。
- 点击【Windows Defender防火墙】按钮进入防火墙页面。
- 点击【启用或关闭Windows Defender防火墙】按钮，进入防火墙开启/关闭页面。
- 专用网络和公用网络都选择【关闭Windows Defender 防火墙】，并点击【确认】按钮，即可将防火墙关闭。
7.3 体积检测外参标定
- 相机IP配置完成、防火墙关闭后，进行部署第二步，打开软件进行算法外参标定，需标定出参考地面具体及相机安装角度偏差。
- 点击相机配置，切换到参数标定界面，进行外参标定前，要保证x、y、z、roll、pitch、yaw为0，如果非0，需要将所有参数归0，并点击【保存并下发】按钮，参数保存成功后，重新进行外参标定。
- 确认参数均为0后，点击【外参标定】按钮，标定成功后，软件会弹出提示框。在右侧参数栏中可以看到已经标定的相机参数。
- 将“z”相机高度值记录后，将z值改为0，并点击【保存并下发】按钮，相机标定参数保存成功。(相机z值需要在体积检测中，检测平面距离进行设置，所以相机标定的高度记录后，需要改为0，否则检测会有问题)
- 将标定的参数保存下发后，外参标定完成，下一步进行体积检测参数设置。
7.4 体积检测平面距离设置
- 点击体积检测，切换到体积检测参数设置页面，首先进行“检测平面距离”设置，这个关系到绘制检测区域和检测准确度。
- 将外参标定中得到的“z”高度值2709，填入到检测平面距离中，此为相机距离检测平面实际距离，点击【保存并下发】按钮，将设置的高度值写入到相机。
- 通过移动点云图像数据，可以看到地面高度已经变化，此时可进行体积检测区域配置。
7.5 体积检测范围设置
- 检测范围设置，调整检测的长宽（xy）建议先切换到上下视图， 如下为各视图的快捷键。
- 通过键盘上快捷键切换到上下视图，如下图所示，红色箭头所指的白色框，表示检测范围的x方向，鼠标滚轮滚动即可修改对应数值，完成检测范围长宽调整。当前将检测范围x方向最大、最小设置为600、-600。
- 绿色箭头所指的白色框，表示检测范围的y方向，鼠标滚轮滚动即可修改对应数值，完成检测范围长宽调整。当前将检测范围y方向最大、最小设置为480、-580。
- 蓝色箭头所指，表示检测范围的z方向，鼠标滚轮滚动可修改数值，也可直接输入数值，当前检测范围最大z值建议设置比检测平面距离略高出一些，当前检测平面距离为2709，最大z设置为2690。检测最小范围根据物体的大小进行设置，如果物体高度超出最小z值，算法不会进行检测。
- 将检测区域配置好后，点击【保存并下发】按钮，将参数保存到相机内部。
7.6 体积检测结果查看
- 将外参标定、体积检测参数、体积检测区域设置好后，点击“基础工具”，在检测区域内放入物体即可查看结果。当前为无物体，在基础功能栏会显示无任何物体。
- 当前放入物体后，在体积状态显示栏会显示当前物体长、宽、高信息。
- 当放入多个物体后，体积检测结果显示栏会显示多个物体长、宽、高，并会显示物体数量。
7.7 体积检测单次触发功能
- 体积检测设置界面，将触摸模式打开，并点击【保存并下发】按钮，将触发模式成功打开。
- 点击基础工具，通过点击【单次触发】按钮，获取图像和结果。
8. 通信协议
8.1 TCP通讯
- 可通过 TCP 通讯获取体积检测结果。通过网络调试助手，远程相机 IP: 192.168.100.82，端口: 14951，发送 RESULT_UPDATE 可以看到返回的体积检测结果信息。
8.2 UDP 通讯
- 可通过 UDP 通讯获取体积检测结果。通过网络调试助手，远程相机 IP: 192.168.100.82，端口: 14950，发送 RESULT_UPDATE 可以看到返回的体积检测结果信息。
8.3 HTTP通讯
- 可通过 HTTP 通讯获取体积检测结果，端口号：14952。
- 上层系统（WMS）对视觉发送结果获取信号，视觉返回一个 JSON 格式的字符串。
|
WMS -> 视觉 |
|
|
结果 |
含义 |
|
RESULT_UPDATE |
触发视觉结果返回信号 |
|
视觉 -> WMS |
|
|
结果 |
含义 |
|
IP |
数据来源相机IP |
|
TM |
体积检测状态 |
|
angle |
框选的物体角度 |
|
cx |
框选物体x坐标 |
|
cy |
框选物体y坐标 |
|
cz |
框选物体z坐标 |
|
height |
物体高度 |
|
length |
物体长度 |
|
width |
物体宽度 |
|
valid |
置信度过低为false，否则为true |
|
TM_DATA_TIME |
体积检测数据提取时间 |
|
TM_RES_TIME |
体积检测结果输出时间 |
|
nick_name |
体积检测相机名称，相机内可配置 |
|
ret_code |
返回码，0 为成功 |
8. 附录
{
"IP":"192.168.100.82", //相机IP
"TM":[{
"angle":-6.821981430053711, //框选物体角度
"cx":39.98405456542969, //框选物体x坐标
"cy":257.008056640625, //框选物体y坐标
"cz":2400.63818359375, //框选物体z坐标
"height":616.723876953125, //物体高度
"length":525.5135498046875, //物体长度
"type":"","valid":true, //置信度过低为false
"width":419.761474609375}], //物体宽度
"TM_DATA_TIME":"2024_11_13_16_37_47.422", //体积检测数据时间
"TM_RES_TIME":"2024_11_13_16_37_48.209", //体积检测结果时间
"nick_name":"_default_", //体积检测相机命名
"ret_code":0 // 返回码，0 为成功
}