跳转到内容
logo logo 迈尔微视知识库

MRDVS库位检测功能使用手册

1. 简介

库位检测算法是迈尔微视(MRDVS)自主开发用于在仓储物流行业使用。库位检测算法在相机内部运行，无需搭配外置工控机。

软件只需用户进行相机外参标定、并绘制多个库位，即可使用单一相机对6-8个库位进行监管。可在同一仓库场景部署多台相机进行检测。算法通过外参标定可自动获取标定结果。

本文主要介绍迈尔微视库位检测功能部署及使用。

2. 库位系统组成

  1. 系统包括 M / S / T 系列深度相机和库位监控软件一套。
  2. 系统包括mid360雷达和库位监控软件、工控机一套。

3. 相机硬件部署指南

3.1 使用相机类型

相机类型

M / S /T 系列相机

相机用户手册 ↓

M系列ToF相机

S系列避障相机

3.2 雷达

雷达类型

mid360

3.3 相机安装方式

相机需要通过支架进行固定，可采用下图所示的安装方式和相机支架进行相机安装。如下图为安装示意图。

图4.1 安装示意图

3.4 相机连接

  1. 相机24V供电，通过超 6 类 / 7 类网线连接，相机安装部署后，通过笔记本电脑打开库位检测上位机软件，进行相机的外参标定和检测范围设置。算法会实时在相机内部运行。
  2. 多台相机部署，需通过千兆交换机进行连接，相机根据 CAD 中规划的安装高度，将 3D 视觉相机通过安装支架安装到固定位置，保证相机固定牢固。相机安装完成后，接入 24V 稳压直流电源，并使用对应的网线与交换机或主控连接。
  3. 准备完成后将相机视野范围内的库位摆上货物，进行软件部署。

4. 相机软件安装指南

4.1 软件安装流程

  • 第一次使用软件，可以参照如下流程完成操作。

4.2 库位检测上位机运行环境要求

建议运行库位检测上位机设备满足要求。

操作系统

Windows10 及以上

CPU

建议 Intel® Core™ i5 七代及以上

内存

8G 及以上

GPU

Intel(R) UHD Graphics/核显以上

4.3 安装相机上位机软件

  1. 相机上位机软件可通过迈尔微视知识库进行获取并下载。点击进行下载→软件下载
  1. 双击进行安装Lanxin-MRDVS上位机软件，需要上位机安装在c盘以外。
  1. 选择使用的语言后，点击【确定】，选择C盘以外的安装目录，并点击【下一步】。
  1. 勾选【创建桌面快捷方式】，点击【下一步】。
  1. 点击【安装】按钮，开始安装软件。
  1. 安装完毕后，可运行相机上位机软件。

4.4 安装库位检测上位机软件

  1. 将获得的库位检测上位机软件，复制到相机上位机 \Lanxin-MRDVS\Tools 中。
  1. 替换时，选择【替换目标中的文件】。
  1. 双击点开即可运行软件。
  2. 左侧设备列表栏，相机状态处于【Unknown】表示相机没有库位检测算法。

4.5 库位检测软件升级

库位检测软件升级，仅需要替换“.exe”文件。

4.6 算法升级

  1. 相机算法升级需要打开相机上位机软件，双击【LxCameraViewer】。
  1. 点击【打开】按钮，进行查看相机成像。
  1. 点击基础工具→功能设置→【固件升级】，进行库位检测算法刷入。(算法请找技术支持人员获取)
  1. 点击【执行】按钮后，选择“库位检测算法”，点击【打开】按钮，开始算法刷入。
  1. 算法刷入过程中，相机会重新启动，左侧设备列表相机ID会消失，待重新显示后，表示刷入成功。
  1. 此时，再次打开库位检测软件，设备列表显示为绿色。

5. 库位检测软件界面

5.1 库位检测程序启动

  1. 双击【 LxApplicationViewer.exe 】程序，启动库位检测软件。点击左侧设备列表中在线的相机，打开相机图像。
  1. 当前用户选择管理员，无需输入密码，直接点击确认进入管理员模式(用户模式无法进行库位检测参数设置)。管理员模式会多出库位检测、相机配置选项。

5.2 基础工具

基础工具主要包含用户切换、理想地面、外参地面、显示缓存、算法显示、导出存图、历史回放、库位状态。

基础工具

功能含义

用户切换

切换权限，用户权限：仅查看检测结果。 管理员权限：可进行相机配置、库位检测参数配置等

理想地面

地面参照水平线，可关闭。

外参地面

相机外参标定高度的水平面，可关闭。

显示缓存

无需修改。

显示算法

当前所使用的算法。

导出存图

导出存储的图像。

历史回放

查看RGB和TOF的图像日志。

库位检测结果显示

显示检测结果，检测货物有无。

5.3 全局配置

切换相机工作模式。

5.4 库位检测

库位检测全局配置

功能含义

算法版本号

当前算法版本信息。

AI过滤

支持语义，可将人进行分割，不进行检测。

检测频率

算法检测频率。

对齐角度

超过此度数，检测结果会输出2(2代表库位有物体，但是角度有偏差)。单位：°

对齐效验

对齐效验开启后，会检测当前物体角度偏差以及有无超出绘制的检测区域。

时域滤波

滤波参数，无需修改。

最小点数量

当物体点云 大于 最小点数量才认为有物体。

保存并下发

将设置的参数保存，并下发到相机。

库位检测区域配置

功能含义

增加库位

添加库位检测区域。

删除库位

删除库位检测区域。

当前框

框选当前库位检测区域。

最小X

库位检测框X方向最小值。

最大X

库位检测框X方向最大值。

最小Y

库位检测框Y方向最小值。

最大Y

库位检测框Y方向最大值。

最小Z

库位检测框Z方向最小值。

最大Z

库位检测框Z方向最大值。

ID

库位检测框的名称。当绘制多个库位检测区域时，可通过修改ID名称进行区分。

鼠标拖动调整区域

在调整区域内，左键按住，可拖动库位检测区域x、y方向平移。右键按住，可托盘库位检测区域z方向移动。

库位检测高级功能——库位框拷贝

功能含义

拷贝当前框

可拷贝当前选择的库位检测区域。

拷贝平移需知

拷贝平移内容提示。

方向

拷贝库位检测区域方向，共有X、Y、Z三个方向。

间距

库位检测区域与拷贝区域间距。

数量

拷贝库位检测区域的数量。

执行

点击执行按钮后，拷贝复制出多个间距相同的检测库位区域。

库位检测高级功能——QR Code标定

功能含义

QR Code标定需知

QR Code标定内容提示。

X

库位宽度。

Y

库位长度。

Z_MIN

库位最低深度。

Z_MAX

库位最低深度。

标定

点击标定按钮，即可标定出二维码校验的库位。

5.5 相机配置

相机设置

功能含义

相机名称

修改当前相机的名称，当有多台时，可通过相机名称进行判断。

仿真模式

内部使用，用户无需打开。

存图模式

开启算法存图，在相机内部进行存储图片数据。

取图模式

取图模式分为MDS和SDK，采用MDS不会占用相机权限，可正常打开相机上位机，采用SDK会占用相机权限，运行算法时，无法打开上位机。

x

相机标定的x位置

y

相机标定的y位置

z

相机标定的距离地面高度z

roll

相机标定的角度

pitch

相机标定的角度

yaw

相机标定的角度

理想地面

默认即可。

保存并下发

外参标定完成后，通过点击【保存并下发】按钮进行保存，否则参数不生效

从相机读取配置

从相机读取当前配置参数

外参标定

标定相机距离地面高度、相机roll、pitch、yaw角度。

5.6 语言

中英文进行切换。

5.7 状态栏

状态栏

功能含义

RGB

勾选后，查看RGB图像

点云

勾选后，查看点云图像

停止算法

点击停止算法后，在下一次相机上电前，不会启动算法。

升级固件

可进行算法固件升级

重启相机

将相机重新启动。

6. 库位检测部署流程

打开库位检测软件后，默认为RGB图，点击进行切换为点云图后，图像会为黑色状态，需要将鼠标移动到图像显示区域，通过鼠标滚轮上下滑动、按住鼠标左键移动，才会显示点云数据。

6.1 相机网络配置

  1. 以Win10系统为例，双击控制面板
  2. 进入控制面板后，点击“查看网络状态和任务”。
  1. 进入网络和共享中心界面，点击“更改适配器设置”。
  1. 进入网络连接界面，鼠标双击选择相机连接的以太网。
  1. 查看以太网状态（建议使用千兆网口），并点击“属性”按钮。
  1. 进入以太网属性界面，找到“Internet协议版本4(TCP/IPv4)”，双击打开。
  1. 进入Internet协议版本4(TCP/IPv4)界面，选择“使用下面的IP地址”，进行IP地址和子网掩码和默认网关的书写。
  1. IP地址设置：192.168.100.xxx 子网掩码：255.255.255.0 默认网关：192.168.100.1，如下图设置好的IP，设置完成后点击“确定”按钮。
  1. 点击确定按钮后，会自动回退到上一个界面，再次点击“确定”，完成网络配置。

6.2 防火墙关闭确认

  1. 将相机固定安装后，进行部署第一步，需要将电脑的防火墙关闭。
  2. 以Win10系统为例，双击桌面的【控制面板】，进入后点击【系统和安全】。

  1. 点击【Windows Defender防火墙】按钮进入防火墙页面。
  1. 点击【启用或关闭Windows Defender防火墙】按钮，进入防火墙开启/关闭页面。
  1. 专用网络和公用网络都选择【关闭Windows Defender 防火墙】，并点击【确认】按钮，即可将防火墙关闭。

6.3 库位检测——外参标定

  1. 相机IP配置完成、防火墙关闭后，进行部署第二步，打开软件进行算法外参标定，需标定出参考地面具体及相机安装角度偏差。
  2. 点击相机配置，切换到参数标定界面，进行外参标定前，要保证x、y、z、roll、pitch、yaw为0，如果非0，需要将所有参数归0，并点击【保存并下发】按钮，参数保存成功后，重新进行外参标定。
  1. 确认参数均为0后，点击【外参标定】按钮，标定成功后，软件会弹出提示框。在右侧参数栏中可以看到已经标定的相机参数。
  1. 进行库位检测时，需要将“pitch”设置为标定的“pitch角度为正需要 减 180°，pitch角度为负需要 加 180°”，保证蓝色箭头Z方向朝上，且地面x、y坐标轴与地面水平。如本次外参标定的pitch为1.695 - 180° ＝ 178.305°。将此度数填入pitch中,将坐标系翻转。
  1. 点击【保存并下发】按钮，相机标定参数保存成功。下一步进行库位检测参数设置(注：一定要设置pitch角度，否则高度会有偏差)。

6.4 库位检测——全局设置

  1. 点击库位检测，切换到库位检测参数设置页面，全局配置中需关注对齐角度、对齐效验、最小点数量。
  2. 如果对库位所放物体有角度要求，可将对齐效验打开，设置对齐角度。将物体角度超过所设的角度值会输出对应的结果。（无物体：0，有物体：1，有物体角度超过对齐角度：2，有物体超出库位框选范围：3）
  3. 如果对库位中存在的小货物不想进行识别，或怕误识别，可通过设置“最小点数量”进行过滤。此数量为点云数量。
  4. 全局配置设置完成后，要点击【保存并下发】按钮，可将参数保存到相机。

6.5 库位检测——库位配置

  1. 检测范围设置，调整检测的长宽（xy）建议先切换到上下视图， 如下为各视图的快捷键。
  1. 将托盘在视野内，点击【增加库位】按钮，在库位配置下方，会增加库位数量和库位的ID名称。我们可以对ID进行修改，当前修改为“库位测试1”。
  1. 点击“增加库位”后，将点云切换为下视图，鼠标点击点云图像，按键盘【X】键，进行库位的区域绘制，按【X】时“增加库位”按钮会变为灰色，代表可以在图像显示区域内绘制库位区域。(键盘x键位开始库位绘制和节数库位绘制功能，按一下开始绘制，在按一下结束绘制)
  1. 此时，可以通过滚轮滑动将图像放大，按住鼠标左键，绘制的矩形框，将整个托盘包裹住后，松开鼠标左键，就会自动绘制出当前库位检测区域。在按键盘【X】按钮，取消检测区域绘制。此时可通过调节最大最小X、Y、Z来确认区域尺寸范围（画完库位后，如果区域框选没问题，一定要按【X】进行取消库位绘制，如果不取消，可能导致画的库位失败）。
  1. 通过键盘快捷键切换到下视图，如下图所示，红色箭头所指表示检测范围的x方向，鼠标滚轮滚动即可修改对应数值，完成检测范围长宽调整。当前将x方向略大于托盘宽度。
  1. 绿色箭头表示检测范围的y方向，鼠标滚轮滚动即可修改对应数值，完成检测范围长宽调整。当前将y方向略大于托盘长度。
  1. 蓝色箭头所指，表示检测范围的z方向，鼠标滚轮滚动可修改数值，也可直接输入数值，当前检测范围最小z值建议设置比地面距离略高出一些，防止将地面误检测。将最大z设置为1500，最大高度根据物体的大小设定。如果物体高度超出最大z值，算法不会进行检测。
  1. 将检测区域配置好后，点击【保存并下发】按钮，将参数保存到相机内部，即可开始检测当前库位有无货物。

6.6 库位检测——高级设置

6.6.1 高级功能——拷贝库位

  1. 点击【拷贝平移需知】，会提示平移相关信息。拷贝库位方便用户在实际部署中根据CAD图纸设计好库位后，绘制一个库位区域，即可进行多个拷贝，无需在重新手动绘制。
  1. 当前设置为X方向，间距为10，数量为2。点击执行按钮，会提示，是否确认执行拷贝平移。
  1. 点击yes后，会在x正方向生成两个相同尺寸的库位，间距为10，在库位列表框可以看到生成的库位区域基于原库位检测ID在后缀增加(0)、(1)。
  1. 设置为Y方向，间距为-40，数量为3。点击执行按钮，会在y负方向生成3个相同尺寸的库位。库位列表框ID在原有(0)、(1)基础上增加了(2)、(3)、(4)。
  1. 拷贝库位完成后，需要点击【保存并下发】按钮，对参数进行保存，否则参数不生效

6.6.2 高级功能——QR标定(二维码标定)

  1. QR(二维码)标定，可以模拟实际库位部署场景，继续库位区域自动绘制，无需手动绘制，可让用户方便部署。二维码板建议1m×1m以上。点击【QR Code标定需知】，会提示标定流程。
  1. 将二维码标定板置于目标区域，切换到RGB图像，确保在 RGB 视野中能看到二维码。
  1. 二维码在视野中央后，切换至点云图像，找到【QR Code】标定栏。预先输入库位大小 X(库位宽度)、Y（库位长度）、Z_min（库位最低深度）、Z_max（库位最高深度），
  1. 再点击【标定】按钮，可基于QR设置好的X、Y、Z自动将库位绘制而出，通过库位配置区域框可进行查看。QR_BOX为QR二维码设置的区域框。
  1. QR Code二维码标定完成后，需要点击【保存并下发】按钮，否则参数不会生效。

6.7 库位检测结果查看

  1. 将外参标定、库位检测参数、库位检测区域设置好后，点击“基础工具”，在检测区域内放入物体即可查看结果。当前为无物体，在基础功能栏会显示无任何物体。
  1. 当前放入托盘后，在库位状态显示栏会显示当前库位有货，在软件最下方，会显示Result结果，1代表有货。
  1. 开启对齐效验后，在软件最下方，会显示Result结果，2代表有托盘但是有角度偏移。
  1. 开启对齐校验后，在软件最下方，会显示Result结果，3代表有托盘但是超出库位检测区域。红色框表示库位检测区域0°，绿色框表示实际物体点云

6.8 库位检测日志查看

  1. 当库位状态有变化时，点击历史回放，点击左侧需要查看的时间，可供查看该时间的有效视野范围内物体变动情况。如下图为货物挪开情况。

6.9 库位检测应用

  1. 简单叙述实际应用，绘制两个库位检测区域，用来检测货物和托盘的有无。一个检测托盘有无，另一个检测货物有无。
  1. 通过获取的Result结果，对货物的状态进行判断。货物的角度过大、货物超出检测区域。如下图，设置对齐角度为15°，当物体超出15时，Result输出结果为2，代表角度过大。
  1. 对齐角度为15°情况下，将物体横放，超出检测区域，Result输出结果为3，代表带出检测区域。

7. 通信协议

7.1 TCP通讯

  1. 可通过 TCP 通讯获取库位检测结果。通过网络调试助手，远程相机 IP: 192.168.100.82，端口: 14951，发送 RESULT_UPDATE 可以看到返回的库位检测结果信息。

7.2 UDP 通讯

  1. 可通过 UDP 通讯获取库位检测结果。通过网络调试助手，远程相机 IP: 192.168.100.82，端口: 14950，发送 RESULT_UPDATE 可以看到返回的库位检测结果信息。

7.3 HTTP通讯

  1. 可通过 HTTP 通讯获取库位检测结果，端口号：14952。
  2. 上层系统（WMS）对视觉发送结果获取信号，视觉返回一个 JSON 格式的字符串。

WMS → 视觉

结果

含义

RESULT_UPDATE

触发视觉结果返回信号

视觉 → WMS

结果

含义

IP

数据来源相机IP

SS

库位状态，0 为空，1 为占用

SS_DATA_TIME

库位检测数据提取时间

SS_RES_TIME

库位检测结果输出时间

nick_name

库位相机名称，相机内可配置

ret_code

返回码，0 为成功

8. 附录

{

"IP":"192.168.100.82", //相机IP

"SS":{"huowu-inspection":0, //库位状态，0为空，1为占用。“huowu-inspection”:库位区域名称，

"tuopaninspection":1}, //库位状态，0为空，1为占用。“tuopaninspection”:库位区域名称，

"SS_DATA_TIME":"2024_11_15_16_57_08.060", //库位数据时间

"SS_RES_TIME":"2024_11_15_16_57_08.748", //库位结果时间

"nick_name":"_default_", //库位相机名称

"ret_code":0 //返回码。0为成功

}