Skip to main content

1. 简介

体积检测算法是迈尔微视(MRDVS)开发的专属于体积测量场景使用,用于自研 M 系列相机在物流、快递、煤场、仓储等场景使用。体积检测算法在相机内部运行,无需搭配外置工控机。算法支持静态、动态检测。 软件只需用户进行相机外参标定、绘制检测范围,即可对单个 / 多个物体检测测量。外参标定可自动获取标定结果,可支持多相机拼接检测。 本文主要介绍迈尔微视体积检测功能部署及使用。

2. 体积检测应用场景

2.1 物流行业

  1. 通过获取货物的体积重量等信息,实现精细化运营,有利于提高车辆装载率,降低用车成本、运输成本以及人工成本,实现全流程的降本增效。
  2. 能快速检测货物/箱体体积重量,一键计算运费。配合地磅,还能有效地对货车和集装箱卡车进行测量,确保整车不超重。

2.2 快递行业

在快递收发的时候,借助智能体积测量设备,能快速获取货物的体积重量等信息,数据对接到内部系统,便于查找和翻查,既避免了数据丢失的问题,也有效减少了人工投入和提高作业效率。

2.3 煤矿行业

传统大型煤炭矿石堆体积测量方式通常采用全站仪、RTK单点测量方式,且需要人工对特征点进行精准提取。然而由于大型煤炭矿石堆通常不便攀爬,精准特征点的提取因而异常困难;同时单点测量方式测量数据密度小,也无法精准获取煤炭矿石堆的体积,导致作业效率极低。

2.4 仓储行业

在物流、仓储甚至一般工业行业中,AGV搬运货物,出入库需要进行货物体积、重量检测。

3. 解决问题

在物流、仓储等工业行业中,获取物品体积数量、掌握物品出入库情况对生产库存管理具有重要意义。然而传统解决方案始终面对着技术手段缺乏、测量误差大、人工管理效率低下及监管困难等难题。 迈尔微视ToF相机体积检测比雷达、结构光、2D相机更具有优势,迈尔微视相机部署简单,仅需相机固件支架、电源线、网线,算法在相机内部运行,无需多余工控机配置,使用更加便捷、成本相比雷达等更低。

4. 相机硬件部署指南

4.1 使用相机类型

相机类型:M系列相机 相机用户手册:M系列ToF相机
使用相机类型相关图示

4.2 相机安装方式

体积检测相机M4采用固定式安装方式,相机向下拍照,尽量保证相机镜面与地面平行,如下图为安装示意图。
相机安装方式相关图示
图4.1 安装示意图

4.3 相机连接

相机24V供电,通过超 6 类 / 7 类网线连接,相机安装部署后,通过笔记本电脑打开体积检测上位机软件,进行相机的外参标定和检测范围设置。算法会实时在相机内部运行,多台相机部署,需通过千兆交换机进行连接。
相机连接相关图示

5. 相机软件安装指南

5.1 软件安装流程

第一次使用软件,可以参照如下流程完成操作。
软件安装流程相关图示

5.2 体积检测上位机运行环境要求

建议运行体积检测上位机设备满足要求。
操作系统Windows10 及以上
CPU建议 Intel Core i5 七代及以上
内存8G 及以上
GPUIntel(R) UHD Graphics/核显以上

5.3 安装相机上位机软件

  1. 相机上位机软件可通过迈尔微视知识库进行获取并下载。点击进行下载→软件下载
2、双击进行安装Lanxin-MRDVS上位机软件,需要上位机安装在c盘以外。
安装相机上位机软件相关图示
3、选择使用的语言后,点击【确定】,选择C盘以外的安装目录,并点击【下一步】。
安装相机上位机软件相关图示 2
4、勾选【创建桌面快捷方式】,点击【下一步】。
安装相机上位机软件相关图示 3
5、点击【安装】按钮,开始安装软件。
安装相机上位机软件相关图示 4
6、安装完毕后,可运行相机上位机软件。
安装相机上位机软件相关图示 5

5.4 安装体积检测上位机软件

  1. 将获得的体积检测上位机软件,复制到相机上位机 \Lanxin-MRDVS\Tools 中。
安装体积检测上位机软件相关图示
2、替换时,选择【替换目标中的文件】。
安装体积检测上位机软件相关图示 2
3、双击点开即可运行软件。 4、左侧设备列表栏,相机状态处于【Unknown】表示相机没有体积检测算法。
安装体积检测上位机软件相关图示 3

5.5 体积检测软件升级

体积检测软件升级,仅需要替换“.exe”文件。

5.6 算法升级

  1. 相机算法升级需要打开相机上位机软件,双击【LxCameraViewer】。
算法升级相关图示
2、点击【打开】按钮,进行查看相机成像。
算法升级相关图示 2
3、点击基础工具→功能设置→【固件升级】,进行体积检测算法刷入。(算法请找技术支持人员获取)
算法升级相关图示 3
4、点击【执行】按钮后,选择“体积检测算法”,点击【打开】按钮,开始算法刷入。
算法升级相关图示 4
5、算法刷入过程中,相机会重新启动,左侧设备列表相机ID会消失,待重新显示后,表示刷入成功。
算法升级相关图示 5
6、此时,再次打开体积检测软件,设备列表显示为绿色。
算法升级相关图示 6

6. 体积检测软件界面

6.1 体积检测程序启动

1、双击【 LxApplicationViewer.exe 】程序,启动体积检测软件。点击左侧设备列表中在线的相机,打开相机图像。
体积检测程序启动相关图示
2、当前用户选择管理员,无需输入密码,直接点击确认进入管理员模式(用户模式无法进行体积检测参数设置)。管理员模式会多出体积检测、相机配置选项。
体积检测程序启动相关图示 2

6.2 基础工具

基础工具主要包含用户切换、理想地面、外参地面、多个体积盒显示、触发按钮、导出存图、历史回放、体积状态。
基础工具相关图示
基础工具功能含义
用户切换切换权限,用户权限:仅查看检测结果。 管理员权限:可进行相机配置、体积检测参数配置等
理想地面地面参照水平线,可关闭。
外参地面相机外参标定高度的水平面,可关闭。
体积盒显示当检测区域有多个物体检测时,可切换不同体积盒,查看不同物体检测结果。
触发按钮设置为触发模式后,可调用此触发按钮,进行图像和结果获取。
导出存图导出存储的图像
历史回放查看RGB和TOF的图像日志。
体积检测结果显示显示检测结果,物体个数、物体长、宽、高。

6.3 全局配置

切换相机工作模式。
全局配置相关图示

6.4 体积检测

体积检测相关图示
体积检测全局配置功能含义
算法版本号当前算法版本信息。
触发模式触发开关按钮,当将触发模式开启后,点击“保存并下发”按钮,即成功开启。
向上检测相机坐标系反向检测(当前为向下检测,即检测平面到物体表面距离,开启向上检测后,即检测物体表面到相机的距离)。
检测频率算法检测的频率。即多少ms刷新图像+结果数据。
检测平面距离相机距离检测平面距离,此距离跟测量高度有关。单位:mm。
邻域数量阈值滤波参数,无需更改。默认值即可。
邻域距离阈值滤波参数,无需更改,默认值即可。
法向量滤波阈值物体边缘圆角滤波参数,推荐60(一般无需调整)。
法向量距离阈值滤波参数,推荐值20-30(可兼容大部分检测物体)。
最小点数量当物体点云 大于 最小点数量才认为有物体。
最小X物体最小长度,小于此值,无法检测。单位:mm。
最小Y物体最小宽度,小于此值,无法检测。单位:mm。
最小Z物体最小高度,小于此值,无法检测。单位:mm。
体积检测相关图示 2
体积检测区域配置功能含义
最小X体积检测框X方向最小值
最大X体积检测框X方向最大值
最小Y体积检测框Y方向最小值
最大Y体积检测框Y方向最大值
最小Z体积检测框Z方向最小值
最大Z体积检测框Z方向最大值

6.5 相机配置

相机配置相关图示
相机设置功能含义
相机名称修改当前相机的名称,当有多台时,可通过相机名称进行判断。
仿真模式内部使用,用户无需打开。
存图模式开启算法存图,在相机内部进行存储图片数据。
取图模式取图模式分为MDS和SDK,采用MDS不会占用相机权限,可正常打开相机上位机,采用SDK会占用相机权限,运行算法时,无法打开上位机。
x相机标定的x位置
y相机标定的y位置
z相机标定的距离地面高度
roll相机标定的角度
pitch相机标定的角度
yaw相机标定的角度
理想地面默认即可。
保存并下发外参标定完成后,通过点击【保存并下发】按钮进行保存,否则参数不生效
从相机读取配置从相机读取当前配置参数
外参标定标定相机距离地面高度、相机roll、pitch、yaw角度。

6.6 语言

中英文进行切换。

6.7 状态栏

状态栏相关图示
状态栏功能含义
RGB勾选后,查看RGB图像
点云勾选后,查看点云图像
停止算法点击停止算法后,在下一次相机上电前,不会启动算法。
升级固件可进行算法固件升级
重启相机将相机重新启动。

7. 体积检测部署流程

打开体积检测软件后,默认为RGB图,点击进行切换为点云图后,图像会为黑色状态,需要将鼠标移动到图像显示区域,通过鼠标滚轮上下滑动、按住鼠标左键移动,才会显示点云数据。
体积检测部署流程相关图示
体积检测部署流程相关图示 2

7.1 相机网络配置

以Win10系统为例,双击控制面板 进入控制面板后,点击“查看网络状态和任务”。
相机网络配置相关图示
进入网络和共享中心界面,点击“更改适配器设置”。
相机网络配置相关图示 2
进入网络连接界面,鼠标双击选择相机连接的以太网。
相机网络配置相关图示 3
查看以太网状态(建议使用千兆网口),并点击“属性”按钮。
相机网络配置相关图示 4
进入以太网属性界面,找到“Internet协议版本4(TCP/IPv4)”,双击打开。
相机网络配置相关图示 5
进入Internet协议版本4(TCP/IPv4)界面,选择“使用下面的IP地址”,进行IP地址和子网掩码和默认网关的书写。
相机网络配置相关图示 6
IP地址设置:192.168.100.xxx 子网掩码:255.255.255.0 默认网关:192.168.100.1,如下图设置好的IP,设置完成后点击“确定”按钮。
相机网络配置相关图示 7
点击确定按钮后,会自动回退到上一个界面,再次点击“确定”,完成网络配置。
相机网络配置相关图示 8

7.2 防火墙关闭确认

1、将相机固定安装后,进行部署第一步,需要将电脑的防火墙关闭。 2、以Win10系统为例,双击桌面的【控制面板】,进入后点击【系统和安全】。
防火墙关闭确认相关图示
3、点击【Windows Defender防火墙】按钮进入防火墙页面
防火墙关闭确认相关图示 2
4、点击【启用或关闭Windows Defender防火墙】按钮,进入防火墙开启/关闭页面。 5、专用网络和公用网络都选择【关闭Windows Defender 防火墙】,并点击【确认】按钮,即可将防火墙关闭。
防火墙关闭确认相关图示 3

7.3 体积检测外参标定

1、相机IP配置完成、防火墙关闭后,进行部署第二步,打开软件进行算法外参标定,需标定出参考地面具体及相机安装角度偏差。 2、点击相机配置,切换到参数标定界面,进行外参标定前,要保证x、y、z、roll、pitch、yaw为0,如果非0,需要将所有参数归0,并点击【保存并下发】按钮,参数保存成功后,重新进行外参标定。
体积检测外参标定相关图示
3、确认参数均为0后,点击【外参标定】按钮,标定成功后,软件会弹出提示框。在右侧参数栏中可以看到已经标定的相机参数。
体积检测外参标定相关图示 2
4、将“z”相机高度值记录后,将z值改为0,并点击【保存并下发】按钮,相机标定参数保存成功。(相机z值需要在体积检测中,检测平面距离进行设置,所以相机标定的高度记录后,需要改为0,否则检测会有问题)
体积检测外参标定相关图示 3
5、将标定的参数保存下发后,外参标定完成,下一步进行体积检测参数设置。

7.4 体积检测平面距离设置

1、点击体积检测,切换到体积检测参数设置页面,首先进行“检测平面距离”设置,这个关系到绘制检测区域和检测准确度。
体积检测平面距离设置相关图示
2、将外参标定中得到的“z”高度值2709,填入到检测平面距离中,此为相机距离检测平面实际距离,点击【保存并下发】按钮,将设置的高度值写入到相机。
体积检测平面距离设置相关图示 2
3、通过移动点云图像数据,可以看到地面高度已经变化,此时可进行体积检测区域配置。
体积检测平面距离设置相关图示 3

7.5 体积检测范围设置

  1. 检测范围设置,调整检测的长宽(xy)建议先切换到上下视图, 如下为各视图的快捷键。
体积检测范围设置相关图示
2、通过键盘上快捷键切换到上下视图,如下图所示,红色箭头所指的白色框,表示检测范围的x方向,鼠标滚轮滚动即可修改对应数值,完成检测范围长宽调整。当前将检测范围x方向最大、最小设置为600、-600。
体积检测范围设置相关图示 2
3、绿色箭头所指的白色框,表示检测范围的y方向,鼠标滚轮滚动即可修改对应数值,完成检测范围长宽调整。当前将检测范围y方向最大、最小设置为480、-580。
体积检测范围设置相关图示 3
4、蓝色箭头所指,表示检测范围的z方向,鼠标滚轮滚动可修改数值,也可直接输入数值,当前检测范围最大z值建议设置比检测平面距离略高出一些,当前检测平面距离为2709,最大z设置为2690。检测最小范围根据物体的大小进行设置,如果物体高度超出最小z值,算法不会进行检测。
体积检测范围设置相关图示 4
5、将检测区域配置好后,点击【保存并下发】按钮,将参数保存到相机内部。
体积检测范围设置相关图示 5

7.6 体积检测结果查看

  1. 将外参标定、体积检测参数、体积检测区域设置好后,点击“基础工具”,在检测区域内放入物体即可查看结果。当前为无物体,在基础功能栏会显示无任何物体。
体积检测结果查看相关图示
2、当前放入物体后,在体积状态显示栏会显示当前物体长、宽、高信息。
体积检测结果查看相关图示 2
3、当放入多个物体后,体积检测结果显示栏会显示多个物体长、宽、高,并会显示物体数量。
体积检测结果查看相关图示 3

7.7 体积检测单次触发功能

  1. 体积检测设置界面,将触摸模式打开,并点击【保存并下发】按钮,将触发模式成功打开。
体积检测单次触发功能相关图示
2、点击基础工具,通过点击【单次触发】按钮,获取图像和结果。
体积检测单次触发功能相关图示 2

8. 通信协议

8.1 TCP通讯

  1. 可通过 TCP 通讯获取体积检测结果。通过网络调试助手,远程相机 IP: 192.168.100.82,端口: 14951,发送 RESULT_UPDATE 可以看到返回的体积检测结果信息。
TCP通讯相关图示

8.2 UDP 通讯

  1. 可通过 UDP 通讯获取体积检测结果。通过网络调试助手,远程相机 IP: 192.168.100.82,端口: 14950,发送 RESULT_UPDATE 可以看到返回的体积检测结果信息。
UDP 通讯相关图示

8.3 HTTP通讯

  1. 可通过 HTTP 通讯获取体积检测结果,端口号:14952。
2、上层系统(WMS)对视觉发送结果获取信号,视觉返回一个 JSON 格式的字符串。
WMS -> 视觉
结果含义
RESULT_UPDATE触发视觉结果返回信号
视觉 -> WMS
结果含义
IP数据来源相机IP
TM体积检测状态
angle框选的物体角度
cx框选物体x坐标
cy框选物体y坐标
cz框选物体z坐标
height物体高度
length物体长度
width物体宽度
valid置信度过低为false,否则为true
TM_DATA_TIME体积检测数据提取时间
TM_RES_TIME体积检测结果输出时间
nick_name体积检测相机名称,相机内可配置
ret_code返回码,0 为成功
9. 附录
{

"IP":"192.168.100.82", //相机IP

"TM":\[{

"angle":-6.821981430053711, //框选物体角度

"cx":39.98405456542969, //框选物体x坐标

"cy":257.008056640625, //框选物体y坐标

"cz":2400.63818359375, //框选物体z坐标

"height":616.723876953125, //物体高度

"length":525.5135498046875, //物体长度

"type":"","valid":true, //置信度过低为false

"width":419.761474609375}\], //物体宽度

"TM_DATA_TIME":"2024_11_13_16_37_47.422", //体积检测数据时间

"TM_RES_TIME":"2024_11_13_16_37_48.209", //体积检测结果时间

"nick_name":"_default_", //体积检测相机命名

"ret_code":0 // 返回码,0 为成功

}