MRDVS算法检测功能使用手册

​

1.简介

​

2.检测系统组成

​

3.相机硬件部署指南

​

使用相机类型

​

相机算法支持

​

雷达

​

相机安装方式

​

相机连接

1. 相机24V供电，通过超 6 类 / 7 类网线连接，相机安装部署后，通过笔记本电脑打开库位检测上位机软件，进行相机的外参标定和检测范围设置。算法会实时在相机内部运行。
2. 多台相机部署，需通过千兆交换机进行连接，相机根据 CAD 中规划的安装高度，将 3D 视觉相机通过安装支架安装到固定位置，保证相机固定牢固。相机安装完成后，接入 24V 稳压直流电源，并使用对应的网线与交换机或主控连接。
3. 准备完成后将相机视野范围内的库位摆上货物，进行软件部署。

​

相机网络配置

​

防火墙关闭确认

1. 将相机固定安装后，进行部署，需要将电脑的防火墙关闭。
2. 以Win10系统为例，双击桌面的【控制面板】，进入后点击【系统和安全】。

1. 点击【Windows Defender防火墙】按钮进入防火墙页面。

1. 点击【启用或关闭Windows Defender防火墙】按钮，进入防火墙开启/关闭页面。

1. 专用网络和公用网络都选择【关闭Windows Defender 防火墙】，并点击【确认】按钮，即可将防火墙关闭。q

​

4.相机软件安装指南

​

软件安装流程

• 第一次使用软件，可以参照如下流程完成操作。

​

算法上位机软件运行环境要求

​

安装相机上位机软件

1. 相机上位机软件可通过迈尔微视知识库进行获取并下载。点击进行下载→软件下载

1. 双击进行安装Lanxin-MRDVS上位机软件，需要上位机安装在c盘以外。

1. 选择使用的语言后，点击【确定】，选择C盘以外的安装目录，并点击【下一步】。

1. 勾选【创建桌面快捷方式】，点击【下一步】。

1. 点击【安装】按钮，开始安装软件。

1. 安装完毕后，可运行相机上位机软件。

​

安装算法上位机软件

1. 将获得的算法上位机软件，复制到相机上位机 \Lanxin-MRDVS\Tools 中。

1. 替换时，选择【替换目标中的文件】。

1. 双击点开即可运行软件。
2. 左侧设备列表栏，相机状态处于 黄色 表示相机没有启动检测算法。

​

算法上位机软件升级

​

算法升级

​

相机上位机

1. 相机算法升级需要打开相机上位机软件，双击【LxCameraViewer.exe】。

1. 点击【打开】按钮，进行查看相机成像。

1. 点击基础工具→功能设置→【固件升级】，进行检测算法刷入。(算法请找技术支持人员获取)

1. 点击【执行】按钮后，选择“检测算法”，点击【打开】按钮，开始算法刷入。

​

算法上位机

1. 使用算法上位机软件进行固件升级，需要选择相机。首先点击左侧设备列表中需要升级的相机，再点击【升级固件 】。

1. 选择“检测算法”，点击【打开】按钮，开始算法刷入。

​

升级结果

1. 算法刷入过程中，相机会重新启动，左侧设备列表相机ID会消失，待重新显示后，表示刷入成功。

1. 升级完毕后，在算法上位机软件上，对应相机背景显示为绿色。

​

5.算法上位机软件界面

​

算法上位机程序启动

1. 双击【 LxApplicationViewer.exe 】程序，启动算法上位机软件。

1. 当前用户选择管理员，无需输入密码，直接点击确认进入管理员模式(用户模式无法进行算法参数设置)。

​

基础工具

​

语言

​

状态栏

​

回放查看

​

全局功能

​

6.相机外参标定

​

相机配置

​

垂直安装外参标定

1. 点击相机配置，切换到参数标定界面，进行外参标定前，要保证x、y、z、roll、pitch、yaw为0，如果非0，需要将所有参数归0，并点击【保存并下发】按钮，参数保存成功后，重新进行外参标定。

1. 确认参数均为0后，点击【外参标定】按钮，标定成功后，软件会弹出提示框。在右侧参数栏中可以看到已经标定的相机参数。不同的算法会有相对于的对齐方案。

​

水平安装外参标定

调整完毕后，点击 保存并下发。

​

7.算法参数含义

​

人体检测

​

人体检测全局配置

​

人体检测区域配置

​

库位检测

​

库位检测全局配置

​

库位检测区域配置（2D RGB）

​

库位检测区域配置（3D点云）

​

体积检测

​

体积检测全局配置

​

体积检测区域配置

​

8.算法部署流程

​

8.1人体检测部署流程

​

人体检测——外参标定

​

人体检测——全局设置

1. 点击人体检测，进入参数设置，主要调整全局旋转检测，其他参数默认。旋转检测与相机安装角度相关，相机顺时针旋转限于0°、90°、180°、270°。
2. 全局配置设置完成后，要点击【保存并下发】按钮，可将参数保存到相机。

​

人体检测——区域配置

1．检测范围设置，调整检测的长宽（xy）建议先切换到上下视图， 如下为各视图的快捷键。

2．点击【增加检测区域】按钮，在检测区域配置下方，会增加检测区域数量和检测区域的ID名称。

3．修改创建好的检测区域最大XYZ轴大小可以直接确认一个检测区域大小。如下图创建了一个1000*1000*2000的检测区域(单位mm)。

1. 通过鼠标在标注区域拖动可以将创建好的检测区域拖动到目标检测区域。

​

人体检测结果查看

1. 将外参标定、人体检测参数、人体检测区域设置好后，点击“基础工具”，测试在检测区域走动即可查看结果。当前检测区域无人，在基础功能栏会显示没有检测到任何目标。

1. 当有人走入区域后，在人体检测状态显示栏会显示检测到指定目标，在软件最下方，会显示Result结果，1代表有人。

​

人体检测日志查看

​

人体检测结果判定

1. 匹配规则仅深度情况下会检测所有物体，语义加深度情况下只会判断语义为人的聚类。
2. 下表为不同情况下Result的输出结果

​

库位检测部署流程

​

库位检测——外参标定

​

库位检测——全局设置

1. 点击库位检测，切换到库位检测参数设置页面，全局配置中需关注对齐角度、对齐效验、最小点数量。
2. 若库位中物品的摆放需遵循特定角度，建议打开对齐效验，并设定相应的对齐角度。一旦物品角度超出预设阈值，系统将输出相应的检测结果。

1. 在对库位中小型货物进行识别时，若存在识别顾虑或误判风险，建议采用“最小点数量”参数进行筛选。该参数指定了识别物体所需的最低点云数目阈值，当检测到物体但其点云数目未达到此阈值时，该物体将被排除在识别结果之外。
2. 全局配置设置完成后，要点击【保存并下发】按钮，可将参数保存到相机。

​

库位检测——库位配置

点云模式库位设置

1. 检测范围设置，调整检测的长宽（xy）建议先切换到上下视图， 如下为各视图的快捷键。

1. 将托盘在视野内，点击【增加库位】按钮，在库位配置下方，会增加库位数量和库位的ID名称。我们可以对ID进行修改，当前修改为“库位测试1”。

1. 点击“增加库位”后，将点云切换为下视图，鼠标点击点云图像，按键盘【X】键，进行库位的区域绘制，按【X】时“增加库位”按钮会变为灰色，代表可以在图像显示区域内绘制库位区域。(键盘x键位开始库位绘制和节数库位绘制功能，按一下开始绘制，在按一下结束绘制)

1. 此时，可以通过滚轮滑动将图像放大，按住鼠标左键，绘制的矩形框，将整个托盘包裹住后，松开鼠标左键，就会自动绘制出当前库位检测区域。在按键盘【X】按钮，取消检测区域绘制。此时可通过调节最大最小X、Y、Z来确认区域尺寸范围（画完库位后，如果区域框选没问题，一定要按【X】进行取消库位绘制，如果不取消，可能导致画的库位失败）。

1. 通过键盘快捷键切换到下视图，如下图所示，红色箭头所指表示检测范围的x方向，鼠标滚轮滚动即可修改对应数值，完成检测范围长宽调整。当前将x方向略大于托盘宽度。

1. 绿色箭头表示检测范围的y方向，鼠标滚轮滚动即可修改对应数值，完成检测范围长宽调整。当前将y方向略大于托盘长度。

1. 蓝色箭头所指，表示检测范围的z方向，鼠标滚轮滚动可修改数值，也可直接输入数值，当前检测范围最小z值建议设置比地面距离略高出一些，防止将地面误检测。将最大z设置为1500，最大高度根据物体的大小设定。如果物体高度超出最大z值，算法不会进行检测。

1. 将检测区域配置好后，点击【保存并下发】按钮，将参数保存到相机内部，即可开始检测当前库位有无货物。

RGB模式库位设置

1.切换至RGB显示模式，点击增加库位，鼠标移动到RGB图像上，

2.如需要删除库位，则在当前框选择需要删除的框id，相对于的库位id在图像上会显示出来 ，点击删除库位即可。

3.鼠标放至库位检测区域中间（蓝色箭头位置）可拖动检测区域移动，放至库位检测区域四个角（红色箭头位置）鼠标左键拖动可以修改检测区域大小。

4.确认库位位置后需要点击 【保存并下发】将库位位置保存至相机才会生效，确认是否保存成功查看库位status 是否为 saved，未保存为not saved。

​

库位检测——高级设置

高级功能——拷贝库位

1. 点击【拷贝平移需知】，会提示平移相关信息。拷贝库位方便用户在实际部署中根据CAD图纸设计好库位后，绘制一个库位区域，即可进行多个拷贝，无需在重新手动绘制。

1. 当前设置为X方向，间距为10，数量为2。点击执行按钮，会提示，是否确认执行拷贝平移。

1. 点击yes后，会在x正方向生成两个相同尺寸的库位，间距为10，在库位列表框可以看到生成的库位区域基于原库位检测ID在后缀增加(0)、(1)。

1. 设置为Y方向，间距为-40，数量为3。点击执行按钮，会在y负方向生成3个相同尺寸的库位。库位列表框ID在原有(0)、(1)基础上增加了(2)、(3)、(4)。

1. 拷贝库位完成后，需要点击【保存并下发】按钮，对参数进行保存，否则参数不生效

高级功能——QR标定(二维码标定)

1. QR(二维码)标定，可以模拟实际库位部署场景，继续库位区域自动绘制，无需手动绘制，可让用户方便部署。二维码板建议1m×1m以上。点击【QR Code标定需知】，会提示标定流程。

1. 将二维码标定板置于目标区域，切换到RGB图像，确保在 RGB 视野中能看到二维码。

1. 二维码在视野中央后，切换至点云图像，找到【QR Code】标定栏。预先输入库位大小 X(库位宽度)、Y（库位长度）、Z_min（库位最低深度）、Z_max（库位最高深度），

1. 再点击【标定】按钮，可基于QR设置好的X、Y、Z自动将库位绘制而出，通过库位配置区域框可进行查看。QR_BOX为QR二维码设置的区域框。

1. QR Code二维码标定完成后，需要点击【保存并下发】按钮，否则参数不会生效。

​

库位检测结果查看

1.将外参标定、库位检测参数、库位检测区域设置好后，点击“基础工具”，在检测区域内放入物体即可查看结果。当前为无物体，在基础功能栏会显示无任何物体。

2.当前放入托盘后，在库位状态显示栏会显示当前库位有货，在软件最下方，会显示Result结果，1代表有货。

3.开启对齐效验后，在软件最下方，会显示Result结果，2代表有货物但是有角度偏移。

4.开启对齐校验后，在软件最下方，会显示Result结果，3代表有货物但是超出库位检测区域。红色框表示库位检测区域，黄框表示检测到的物体。

​

库位检测日志查看

​

库位检测结果判定

1. 绘制检测区域，判断货物存在性、偏移角度及越界状态。
2. 通过获取的Result结果，对货物的状态进行判断。

1. 在启用对齐校验功能的条件下，将物体置于检测区域的边界位置，Result输出结果为3，此结果表明货物已超出界限并占据了库位空间。

​

体积检测部署流程

​

体积检测——外参标定

1. 详见 6.2垂直安装外参标定
2. 标定完成后要确保坐标轴Z轴（蓝色箭头）垂直向下，X（红色箭头）轴 Y（绿色箭头）轴组成平面要与地面平行，体积检测算法检测方式为从上向下检测。

​

体积检测——全局设置

1. 点击体积检测，进入参数设置界面后，需重点设置“检测平面距离”（用于确定物体下表面位置并计算体积）与最小XYZ大小。
2. 检测平面设置。若货物直接放置于地面，检测平面距离设为地面高度；

若存在托盘且仅需计算托盘上货物面积，则需将检测平面与托盘点云重合。

1. 最小XYZ设置。用于设定检测物体的长、宽、高三维尺寸下限（单位：像素）。当检测到的物体长、宽或高中任意一维小于该阈值时，系统将自动忽略该物体。

数值调大后该物体被忽略

1. 全局配置设置完成后，要点击【保存并下发】按钮，可将参数保存到相机。

​

体积检测——范围设置

1. 检测范围设置，调整检测的长宽（xy）建议先切换到上下视图， 如下为各视图的快捷键。

1. 通过键盘上快捷键切换到上下视图，如下图所示，红色箭头所指的白色框，表示检测范围的x方向，鼠标滚轮滚动即可修改对应数值，完成检测范围长宽调整。当前将检测范围x方向最大、最小设置为600、-600。

1. 绿色箭头所指的白色框，表示检测范围的y方向，鼠标滚轮滚动即可修改对应数值，完成检测范围长宽调整。当前将检测范围y方向最大、最小设置为480、-580。

1. 蓝色箭头所指，表示检测范围的z方向，建议检测平面与最大z数值一致。检测最小范围根据物体的大小进行设置，如果物体高度超出最小z值，算法会将其过滤。

1. 将检测区域配置好后，点击【保存并下发】按钮，将参数保存到相机内部。

​

体积检测结果查看

1. 将检测区域配置好后，点击【保存并下发】按钮，将参数保存到相机内部。
2. 将外参标定、体积检测参数、体积检测区域设置好后，点击“基础工具”，在检测区域内放入物体即可查看结果。当前为无物体，在基础功能栏会显示无任何物体。

1. 当放入物体后，在体积状态显示栏会显示当前物体长、宽、高信息。

4.当放入多个物体后，体积检测结果显示栏会显示多个物体长、宽、高，并会显示物体数量。

​

体积检测单次触发功能

1. 体积检测设置界面，将触发模式打开，并点击【保存并下发】按钮，将触发模式成功打开。

1. 点击基础工具，通过点击【单次触发】按钮，获取图像和结果。

​

通信协议

​

TCP通讯

​

UDP 通讯

​

HTTP通讯

1. 可通过 HTTP 通讯获取算法检测结果，端口号：14952。
2. 上层系统（WMS）对视觉发送结果获取信号，视觉返回一个 JSON 格式的字符串。
3. 操作流程

点击发送获得结果

​

modbus-tcp(库位检测)

​

从端配置参数

基础通信配置

1. *端口号*：16502
2. *监听地址*：所有网络接口（0.0.0.0）
3. *寄存器数量*：16个
4. *寄存器起始地址*：0x100
5. *字节序*：大端模式（Big-Endian）

寄存器存储规则

​

状态码定义

库位状态码

标记物状态码

​

示例

1. 客户端请求报文

1. [01][00][00][00][06][FF][03][01][03][00][01]

2. 设备响应报文

1. [05][00][01][00][00][00][02][00][02]

​

附录(返回json解析)

​

人体检测

{     **"IP"**: **"192.168.100.83"**, //相机IP     **"SG"**: {         **"1"**: **1**,//1检测框内检测到目标         **"2"**: **0**,//2检测框内未检测到目标         **"__object_details"**: \[ //每一项都是一个json字符串需要再次反序列化 ,每一项都代表一个聚类

            **"{\\"rbx2d\\":584.0,\\"rby2d\\":500.0,\\"semantic_index\\":-1,\\"tlx2d\\":234.0,\\"tly2d\\":386.0,\\"traceID\\":\\"\\",\\"x_max\\":33.46769714355469,\\"x_min\\":-130.08856201171875,\\"y_max\\":28.804279327392578,\\"y_min\\":9.872406005859375,\\"z_max\\":170.76319885253906,\\"z_min\\":70.43941497802734}"**,             **"{\\"rbx2d\\":405.0,\\"rby2d\\":333.0,\\"semantic_index\\":0,\\"tlx2d\\":159.0,\\"tly2d\\":11.0,\\"traceID\\":\\"IoXSYuQ0rM34LYqL\\",\\"x_max\\":-201.1272430419922,\\"x_min\\":-395.1332702636719,\\"y_max\\":99.76918029785156,\\"y_min\\":-228.9674530029297,\\"z_max\\":611.3909912109375,\\"z_min\\":233.85450744628906}"**         \]     },     **"SG_DATA_TIME"**: **"2023_03_02_21_52_11.408"**, //人体检测数据时间     **"SG_RES_TIME"**: **"2023_03_02_21_52_11.689"**, //人体检测结果时间     **"nick_name"**: **"Unknown"**, //人体检测相机名称     **"ret_code"**: **0** //返回码。0为成功 }

{     **"rbx2d"**: **405**, //2D聚类框左下角x坐标     **"rby2d"**: **333**, //2D聚类框左下角y坐标     **"semantic_index"**: **0**, //有语义则为模型对应index ,无语义为-1     **"tlx2d"**: **159**, //2D聚类框右上角x坐标     **"tly2d"**: **11**,//2D聚类框右上角y坐标     **"traceID"**: **"IoXSYuQ0rM34LYqL"**,//每个检测出来的类都有专属ID ,可以用来判断与前几帧的检测是否属于同一个物体     **"x_max"**: **\-201.1272430419922**,// 3D点云聚类框坐标     **"x_min"**: **\-395.1332702636719**,// 3D点云聚类框坐标     **"y_max"**: **99.76918029785156**,// 3D点云聚类框坐标     **"y_min"**: **\-228.9674530029297**,// 3D点云聚类框坐标     **"z_max"**: **611.3909912109375**,// 3D点云聚类框坐标     **"z_min"**: **233.85450744628906**// 3D点云聚类框坐标 }

​

库位检测

{     **"IP"**: **"192.168.100.83"**, //相机IP     **"SS"**: { X_detail_info 为 X序号库位中检测到的货物数据         **"1"**: **1**,//1库位被占用         **"2"**: **1**,//2 库位被占用         **"3"**: **3**,//3 库位被占用且物体出界         **"1__detail__info"**: \[             **\-1**,**\-1**,**\-1**,**\-1**,**\-1**,**\-1**,**\-1**         \],         **"2__detail__info"**:             **\-7**,**258**,**261**,**545**,**403**,**204**,**89**         \],         **"3__detail__info"**: \[             **114**,**73**,**37**,**92**,**42**,**75**, **\-88**         \]     },     **"SS_DATA_TIME"**: **"2023_03_02_22_13_01.286"**, //人体检测数据时间     **"SS_RES_TIME"**: **"2023_03_02_22_13_01.572"**, //人体检测结果时间     **"nick_name"**: **"Unknown"**, //人体检测相机名称     **"ret_code"**: **0** //返回码。0为成功 }

​

体积检测

{     **"IP"**: **"192.168.100.83"**,//相机IP     **"TM"**: \[ //每一项都为在检测范围内检测到的一个完整的体积盒         {             **"angle"**: **\-81.56423950195313**,             **"cx"**: **\-287**,             **"cy"**: **88**,             **"cz"**: **2887**,             **"height"**: **224**,             **"length"**: **320**,             **"type"**: **""**,             **"valid"**: **true**,             **"width"**: **174**         }     \],     **"TM_DATA_TIME"**: **"2023_03_02_21_01_31.769"**, //人体检测数据时间     **"TM_RES_TIME"**: **"2023_03_02_21_01_31.987"**,//人体检测结果时间     **"nick_name"**: **"Unknown"**, //人体检测相机名称     **"ret_code"**: **0** //返回码。0为成功 }