492 lines
22 KiB
Markdown
Executable File
492 lines
22 KiB
Markdown
Executable File
# XR-RM75 双臂遥操作工作空间
|
||
|
||
本仓库是面向 **Ubuntu 22.04 + ROS2 Humble + PICO 4 Ultra + 睿尔曼 RM75** 的阶段一 XR 双臂遥操作项目。当前目标是先跑通一条低速、安全、可调试的闭环：
|
||
|
||
```text
|
||
PICO/XR 双手柄 UDP JSON
|
||
-> xr_rm_input/udp_controller_receiver
|
||
-> /xr/left_controller 与 /xr/right_controller
|
||
-> xr_rm_teleop/single_arm_velocity_teleop
|
||
-> Placo QP 单步逆解
|
||
-> 左右 RM75 七关节角透传控制
|
||
-> /xr_rm/<arm_name>/current_pose、raw_target_pose、target_pose、cmd_vel、target_clamped 调试话题
|
||
```
|
||
|
||
当前控制方式是“手柄相对位姿 + 单步 QP”遥操作：按住 `grip` 时锁定当前手柄位姿和机械臂 TCP 位姿，之后根据手柄相对位移和相对旋转生成目标 TCP。姿态目标使用旋转矩阵和 SO(3) 最短路径完成死区、滤波与限速，不经过 RPY。每个控制周期执行一次 Placo QP，并通过 `rm_movej_canfd` 下发 7 个关节目标。松开 `grip`、UDP 或关节反馈超时、节点退出时会请求机械臂慢停。
|
||
|
||
## 当前范围
|
||
|
||
已完成：
|
||
|
||
- PICO/XR 手柄 UDP 数据接收，并分发到左右手柄 ROS2 话题。
|
||
- 通过统一的 `arm_debug.launch.py` 支持左臂、右臂、双臂的 mock 调试和真机调试。
|
||
- RM75 真机连接适配，包含关节反馈缓存、`rm_movej_canfd` 关节透传、安全速度/加速度配置、可选初始化点位移动。
|
||
- Placo 0.9.4 RM75 QP 逆解；收到首帧有效关节反馈后才启用，求解失败时保留上一组有效关节目标。
|
||
- 真机模式下，点击对应手柄 `trigger` 可切换并保持对应夹爪开/关状态。
|
||
- Tkinter 启动面板 `launcher_ui.py`，用于现场快速启动、监控 topic、检查环境和清理进程。
|
||
- XRoboToolkit bridge 读取左右手柄 pose、Grip、Trigger、摇杆和主副按键。
|
||
|
||
暂未完成：
|
||
|
||
- D405/D435 视频流、数据记录、相机标定和目标检测链路。
|
||
- 双臂碰撞模型、任务级状态机、自动采摘策略。
|
||
- PICO 端与 ROS 端的完整时间同步和状态回传。
|
||
|
||
## 项目结构
|
||
|
||
```text
|
||
src/
|
||
├── README.md # 项目主文档
|
||
├── AGENTS.md # Codex 项目工作流和安全规则
|
||
├── docs/superpowers/ # Superpowers 设计与实施计划
|
||
├── xr_rm_bringup/
|
||
│ ├── config/
|
||
│ │ ├── dual_arm_rm75.yaml # 双臂配置：left_arm_teleop 与 right_arm_teleop
|
||
│ │ ├── left_arm_rm75.yaml # 左臂单独调试配置
|
||
│ │ ├── right_arm_rm75.yaml # 右臂单独调试配置
|
||
│ │ └── peripherals_rm75.yaml # 左右臂末端外设配置
|
||
│ ├── launch/
|
||
│ │ └── arm_debug.launch.py # 统一入口：arm:=left/right/both, use_mock:=true/false
|
||
│ └── tools/
|
||
│ ├── launcher_ui.py # 图形化调试启动面板
|
||
│ └── realman_dual_arm_state_monitor.py
|
||
├── xr_rm_input/
|
||
│ ├── launch/
|
||
│ │ └── udp_receiver.launch.py # 低层 UDP 接收测试入口
|
||
│ ├── test/
|
||
│ │ └── test_controller_fields.py
|
||
│ └── xr_rm_input/
|
||
│ ├── udp_controller_receiver.py
|
||
│ ├── xrobotoolkit_to_udp_bridge.py
|
||
│ └── sample_udp_sender.py # 本机扫轴/正弦模拟手柄 UDP 数据
|
||
├── xr_rm_interfaces/
|
||
│ └── msg/
|
||
│ └── XrController.msg # 手柄状态与位姿
|
||
└── xr_rm_teleop/
|
||
├── models/
|
||
│ ├── rm75/ # 旧 RM75 模型资源（launch 不再选用）
|
||
│ ├── rm75_omnipicker/ # 旧单臂 OmniPicker 模型资源
|
||
│ └── dual_rm75/ # 当前左右臂统一使用的双 RM75 URDF 与网格
|
||
└── xr_rm_teleop/
|
||
├── placo_ik_solver.py # Placo 0.9.4 单步 QP 逆解
|
||
├── single_arm_velocity_teleop.py
|
||
├── realman_adapter.py
|
||
└── fun_peripheral.py
|
||
```
|
||
|
||
`single_arm_velocity_teleop` 这个名字保留是有意的：双臂模式不是一个大节点直接控制两台机械臂，而是启动两个相同的单臂控制节点，分别命名为 `left_arm_teleop` 和 `right_arm_teleop`。
|
||
|
||
## Superpowers Git 约束
|
||
|
||
使用 Superpowers 执行任务时，只允许按 skill 工作流创建本地 Git 提交。
|
||
禁止执行 `git push`、合并本地分支、合并 PR 或其他远程写操作。skill 如需
|
||
独立 worktree 或配套本地分支，可以创建，但不得将其合并到其他分支。
|
||
|
||
## 环境准备
|
||
|
||
在工作空间根目录，也就是包含 `src/` 的目录执行：
|
||
|
||
```bash
|
||
cd /home/robot/WS_xr
|
||
source /opt/ros/humble/setup.bash
|
||
rosdep update
|
||
rosdep install --from-paths src -y --ignore-src
|
||
colcon build --symlink-install
|
||
source install/setup.bash
|
||
```
|
||
|
||
真机模式还需要安装睿尔曼 Python API2。若未安装，mock 模式仍可正常使用；真机启动时会提示缺少 `Robotic_Arm` 包。
|
||
|
||
遥操作节点固定由 `/home/robot/miniconda3/envs/xr/bin/python` 启动，并复用其中的 Python 3.10、Placo 0.9.4、Pinocchio 3.7.0 和 NumPy 2.2.6。`ros2`、`colcon` 和 `udp_controller_receiver` 仍使用系统 Python。禁止通过 `pip --user`、`sudo pip` 或系统安装升级 Placo、Pinocchio、EigenPy 和 NumPy。
|
||
|
||
只读检查 Placo 版本：
|
||
|
||
```bash
|
||
/home/robot/miniconda3/envs/xr/bin/python -c \
|
||
"import importlib.metadata; print(importlib.metadata.version('placo'))"
|
||
```
|
||
|
||
输出必须为 `0.9.4`。
|
||
|
||
如果希望 `launcher_ui.py` 从任意目录找到工作空间，可以设置：
|
||
|
||
```bash
|
||
export XR_RM_WS=/home/robot/WS_xr
|
||
```
|
||
|
||
## 使用 launcher_ui.py 调试
|
||
|
||
推荐现场调试优先使用图形化启动面板。它会自动进入工作空间、source ROS2 与 `install/setup.bash`，并把每个命令放到独立终端中运行。
|
||
|
||
源码方式启动：
|
||
|
||
```bash
|
||
cd /home/robot/WS_xr
|
||
python3 src/xr_rm_bringup/tools/launcher_ui.py
|
||
```
|
||
|
||
构建后也可以通过 ROS2 入口启动：
|
||
|
||
```bash
|
||
source /opt/ros/humble/setup.bash
|
||
source install/setup.bash
|
||
ros2 run xr_rm_bringup launcher_ui
|
||
```
|
||
|
||
面板顶部的 `Mode` 分为五类：
|
||
|
||
- `Simulation`：左臂 mock、右臂 mock、双臂 mock、sample UDP 发送、one-click mock demo、controller 位置/频率监控。
|
||
- `Left Arm`：左臂网络 ping、左臂真机 launch、左手 sample UDP。
|
||
- `Right Arm`：右臂网络 ping、右臂真机 launch、右手 sample UDP。
|
||
- `Dual Arm`：左右臂 ping、双臂真机 launch、双手 sample UDP。
|
||
- `Diagnostics`：`ros2 doctor --report` 和核心包的 `ros2 pkg prefix` 检查。
|
||
|
||
常用按钮：
|
||
|
||
- `Run Selected`：运行当前选中的命令。双击列表项也可以运行。
|
||
- `Check Env`：检查 ROS2 Humble、工作空间 build、终端、核心 ROS 包、睿尔曼 API2。
|
||
- `Stop All`：结束由本工作空间启动的 launch、sample sender、topic monitor、相关 ROS 节点和终端窗口。
|
||
|
||
每个模式都会附带基础监控入口：
|
||
|
||
- `Open Controller Topic Monitor`：同时查看 `/xr/left_controller` 和 `/xr/right_controller`。
|
||
- `Open Target Velocity Monitor`：同时查看 `/xr_rm/left_rm75/cmd_vel` 和 `/xr_rm/right_rm75/cmd_vel`；该话题表示目标位姿变化率，仅用于调试。
|
||
- `Open ROS Topic/Node List Monitor`：每秒刷新 `ros2 topic list` 和 `ros2 node list`。
|
||
|
||
`Simulation` 模式还提供 `Open Controller Position Monitor` 和 `Open Controller Hz Monitor`，用于快速看手柄位置字段和接收频率。
|
||
|
||
分屏监控依赖 `x-terminal-emulator` 指向 Terminator。若提示不支持，可安装并切换：
|
||
|
||
```bash
|
||
sudo apt install terminator wmctrl xdotool
|
||
sudo update-alternatives --config x-terminal-emulator
|
||
```
|
||
|
||
## 推荐调试顺序
|
||
|
||
第一步：检查环境。
|
||
|
||
打开 `launcher_ui.py`，点击 `Check Env`。如果 `install/setup.bash` 缺失，先回工作空间根目录重新执行 `colcon build --symlink-install`。
|
||
|
||
第二步：分别跑左、右臂 mock 闭环。
|
||
|
||
分两个终端依次验证左臂：
|
||
|
||
```bash
|
||
ros2 launch xr_rm_bringup arm_debug.launch.py arm:=left use_mock:=true
|
||
ros2 run xr_rm_input sample_udp_sender --hand left --host 127.0.0.1 --port 15000 \
|
||
--pattern axis_sweep --seconds 30
|
||
```
|
||
|
||
停止左臂进程后，再分别验证右臂：
|
||
|
||
```bash
|
||
ros2 launch xr_rm_bringup arm_debug.launch.py arm:=right use_mock:=true
|
||
ros2 run xr_rm_input sample_udp_sender --hand right --host 127.0.0.1 --port 15000 \
|
||
--pattern axis_sweep --seconds 30
|
||
```
|
||
|
||
`sample_udp_sender` 默认使用 `axis_sweep` 扫轴轨迹，并在终端打印 `XR +X/-X/+Y/-Y/+Z/-Z` 标签。需要检查末端姿态时可增加 `--rotation-pattern rpy_steps --rotation-amplitude-deg 25`。
|
||
|
||
观察：
|
||
|
||
```bash
|
||
ros2 topic echo /xr/left_controller
|
||
ros2 topic echo /xr/right_controller
|
||
ros2 topic echo /xr_rm/left_rm75/target_pose
|
||
ros2 topic echo /xr_rm/right_rm75/target_pose
|
||
ros2 topic echo /xr_rm/left_rm75/cmd_vel
|
||
ros2 topic echo /xr_rm/right_rm75/cmd_vel
|
||
```
|
||
|
||
第三步：单臂真机。
|
||
|
||
先只上一个臂，确认网络、方向、急停和限幅：
|
||
|
||
```bash
|
||
ros2 launch xr_rm_bringup arm_debug.launch.py arm:=left use_mock:=false
|
||
ros2 launch xr_rm_bringup arm_debug.launch.py arm:=right use_mock:=false
|
||
```
|
||
|
||
所有 YAML 默认都不会执行 `movej(initial_joint_pose)`。只有确认安全区清空后，才可在当前使用的
|
||
`left_arm_rm75.yaml`、`right_arm_rm75.yaml` 或 `dual_arm_rm75.yaml` 中将
|
||
`move_to_initial_pose_on_connect` 改为 `true`。
|
||
|
||
第四步：双臂真机。
|
||
|
||
```bash
|
||
ros2 launch xr_rm_bringup arm_debug.launch.py arm:=both use_mock:=false
|
||
```
|
||
|
||
双臂默认不会自动移动到初始化点；机器人地址、控制参数和初始化移动开关均从
|
||
`dual_arm_rm75.yaml` 读取。
|
||
|
||
## Launch 入口说明
|
||
|
||
`arm_debug.launch.py` 是当前唯一的遥操作 launch 主入口，`launcher_ui.py` 中的 mock、单臂真机和双臂真机按钮都调用它。
|
||
|
||
常用参数：
|
||
|
||
- `arm`：`left`、`right`、`both`，默认 `right`。
|
||
- `use_mock`：`true` 不连接真机，`false` 连接 RM75。
|
||
- `udp_host`：UDP 监听地址，默认 `0.0.0.0`。
|
||
- `udp_port`：UDP 监听端口，默认 `15000`。
|
||
- `udp_timer_hz`：UDP receiver 轮询频率，默认 `200.0`。
|
||
|
||
机器人 IP/端口、控制频率、CANFD、限速、工具和初始化位姿等行为参数只由对应 YAML
|
||
配置，launch 不再提供同名覆盖项。
|
||
|
||
## 配置文件说明
|
||
|
||
`xr_rm_bringup/config/dual_arm_rm75.yaml` 是双臂配置主文件，包含两个 ROS 节点命名空间：
|
||
|
||
- `left_arm_teleop`
|
||
- `right_arm_teleop`
|
||
|
||
`left_arm_rm75.yaml` 和 `right_arm_rm75.yaml` 用于 `arm_debug.launch.py arm:=left/right` 的单臂调试，因为单臂节点名是 `single_arm_velocity_teleop`。
|
||
|
||
`xr_rm_bringup/config/peripherals_rm75.yaml` 保存真实控制器使用的末端工具坐标、负载和左右臂外设选择。左臂 `scissorgripper: 2` 是外设选择值，选择 `minisci`，TCP 的 Z 向偏移为 `0.165 m`；右臂 `scissorgripper: 1`，选择 `omnipic`，TCP 的 Z 向偏移为 `0.14 m`。真机连接阶段仍会初始化外设，关节反馈、关节指令、慢停和开合命令复用该单臂节点的同一个 RealMan 连接。
|
||
|
||
Placo 使用 `xr_rm_teleop/models/dual_rm75/Dual_arm.urdf`。左右 ROS 节点分别创建独立 solver：左臂从 `scissor_base_link` 到 `scissor_scissor_tcp`，并 mask 右臂；右臂从 `omnipic_base_link` 到 `omnipic_OmniPic_tcp`，并 mask 左臂。节点目标仍在各自局部基坐标系中，现有 PICO 映射不改为公共坐标系。
|
||
|
||
重点控制参数：
|
||
|
||
- `controller_topic`：订阅的手柄话题。
|
||
- `scale`：手柄位移到 TCP 位移的比例。
|
||
- `target_filter_alpha` / `target_filter_alpha_fast`：目标 TCP 低通滤波系数，快速移动时自动使用更大的系数。
|
||
- `target_filter_fast_threshold_m`：进入快速滤波区间的目标变化阈值。
|
||
- `max_linear_speed`：目标位姿单帧步长限制对应的最大线速度。
|
||
- `enable_orientation_control`：是否把手柄相对旋转映射到 TCP 姿态。
|
||
- `orientation_filter_alpha` / `orientation_deadband_rad`：按 SO(3) 最短旋转角处理的目标 TCP 姿态滤波和死区。
|
||
- `max_orientation_speed`：目标 TCP 姿态沿 SO(3) 最短路径的最大角速度，当前为 `0.5 rad/s`。
|
||
- `workspace_min` / `workspace_max`：笛卡尔工作空间边界。
|
||
- `cyl_radius_limit`：基座圆柱半径限制。
|
||
- `xr_to_robot_matrix`：`/xr/*_controller` Project 位移到 RM75 base 坐标的映射矩阵。
|
||
- `robot_ip` / `robot_port`：RM75 TCP 控制连接地址。
|
||
- `realtime_push_host_ip`：连接机械臂 Wi-Fi 后本机实际 IPv4；可用
|
||
`ip -4 route get 192.168.192.19` 查看输出中的 `src`，当前为 `192.168.192.148`。
|
||
- `realtime_push_port`：UDP 主动反馈端口；左臂 `8089`、右臂 `8090`，同机双臂不能重复。
|
||
- `realtime_push_cycle_ms`：UDP 主动反馈周期，当前为厂商支持的 `5 ms`。
|
||
- `follow` / `canfd_trajectory_mode`：`rm_movej_canfd` 的高跟随和轨迹模式参数。
|
||
- 当前三份 YAML 默认均使用 `follow: false` 完成安全基线验证；确认关节加速度与反馈稳定后，再单独测试高跟随。
|
||
- `initial_joint_pose`：mock 的初始关节反馈，以及显式开启初始化移动时的真机初始关节角。
|
||
|
||
当前 `/xr/*_controller` 的坐标处理：
|
||
|
||
- XRoboToolkit bridge 原样转发 SDK 的手柄位置和四元数，不额外转换坐标轴。
|
||
- receiver 默认按 `xyzw` 解析四元数，也可通过 `quat_order:=wxyz` 切换。
|
||
- 左臂映射：机器人位移增量 = `[-手柄y, 手柄z, -手柄x]`。
|
||
- 右臂映射：机器人位移增量 = `[手柄y, 手柄z, 手柄x]`。
|
||
- 两侧局部 `-Y` 均指向机器人前方；局部 `+Y` 指向后方，后方工作空间仅保留 `0.10 m`。
|
||
- 左臂局部 `+X/+Y/+Z` 分别指向下/后/左外侧；右臂分别指向上/后/右外侧。
|
||
|
||
如果某个机械臂方向相反，只改对应臂的 `xr_to_robot_matrix` 符号，不要同时改多个控制参数。
|
||
|
||
## 末端工具开合
|
||
|
||
真机 launch 默认会在遥操作节点内启用工具控制。左/右手柄 `trigger` 从低于阈值按到 `>= 0.95` 时，会切换一次对应夹爪开/关状态，并保持到下一次点击。`grip` 仍只控制机械臂运动，不影响夹爪 trigger 切换。
|
||
|
||
也可以用 Bool 话题手动控制开合，`true` 表示打开，`false` 表示闭合：
|
||
|
||
```bash
|
||
ros2 topic pub --once /xr_rm/left_rm75/tool_enable std_msgs/msg/Bool "{data: true}"
|
||
ros2 topic pub --once /xr_rm/left_rm75/tool_enable std_msgs/msg/Bool "{data: false}"
|
||
|
||
ros2 topic pub --once /xr_rm/right_rm75/tool_enable std_msgs/msg/Bool "{data: true}"
|
||
ros2 topic pub --once /xr_rm/right_rm75/tool_enable std_msgs/msg/Bool "{data: false}"
|
||
```
|
||
|
||
桌面 UI 的 `Left Arm` 和 `Right Arm` 模式里也有对应的 Tool Open/Close 命令项；`Dual Arm` 真机模式下可直接通过左右手柄 `trigger` 分别切换夹爪。
|
||
|
||
## UDP 数据格式
|
||
|
||
当前 XRoboToolkit bridge 每个周期发送一个双手柄 JSON 包：
|
||
|
||
```json
|
||
{
|
||
"t": 12.345,
|
||
"source_time": 12.345,
|
||
"seq": 42,
|
||
"frame_id": "xr_world",
|
||
"controllers": {
|
||
"left": {
|
||
"hand": "left",
|
||
"grip": true,
|
||
"trigger": 0.0,
|
||
"axis": [0.2, -0.4],
|
||
"buttons": {
|
||
"primary": true,
|
||
"secondary": false
|
||
},
|
||
"pos": [-0.12, 1.05, 0.30],
|
||
"quat": [0.0, 0.0, 0.0, 1.0],
|
||
"pose_valid": true,
|
||
"pose_source": "xrobotoolkit"
|
||
},
|
||
"right": {
|
||
"hand": "right",
|
||
"grip": true,
|
||
"trigger": 1.0,
|
||
"axis": [-0.1, 0.3],
|
||
"buttons": {
|
||
"primary": false,
|
||
"secondary": true
|
||
},
|
||
"pos": [0.12, 1.05, 0.30],
|
||
"quat": [0.0, 0.0, 0.0, 1.0],
|
||
"pose_valid": true,
|
||
"pose_source": "xrobotoolkit"
|
||
}
|
||
}
|
||
}
|
||
```
|
||
|
||
字段说明：
|
||
|
||
- `t` / `source_time`：bridge 的 PC 单调时间，用于诊断发送周期。
|
||
- `seq`：bridge 递增的 UDP 包序号，bridge 重启后重新计数。
|
||
- `frame_id`：默认 `xr_world`，会写入 `XrController.header.frame_id`。
|
||
- `grip`：运动使能。`true` 时进入相对位姿控制，`false` 时停止。
|
||
- `trigger`：经过 bridge 滞回处理的 `0.0/1.0` 值；上升沿切换对应夹爪状态。
|
||
- `axis`：摇杆 `[x, y]`，每个分量限制在 `-1.0` 到 `1.0`。
|
||
- `buttons.primary`：左手 X 键或右手 A 键。
|
||
- `buttons.secondary`：左手 Y 键或右手 B 键。
|
||
- `pos`：手柄位置，长度 3。
|
||
- `quat`：手柄姿态四元数，默认按 `xyzw` 解析。
|
||
- `pose_valid`：姿态是否可信；`false` 时接收端强制 `grip=false`。
|
||
- `pose_source`：当前 bridge 使用 `xrobotoolkit`。
|
||
|
||
`axis`、`buttons.primary` 和 `buttons.secondary` 会进入 `XrController`；旧 UDP
|
||
包缺少这些字段时分别回退为 `[0,0]`、`false` 和 `false`。
|
||
|
||
接收端发布的消息格式为：
|
||
|
||
```text
|
||
std_msgs/Header header
|
||
string hand
|
||
|
||
bool grip
|
||
float32 trigger
|
||
bool primary
|
||
bool secondary
|
||
float32[2] axis
|
||
|
||
geometry_msgs/Pose pose
|
||
```
|
||
|
||
`udp_controller_receiver` 仍兼容调试用的单手柄包：可以直接发送带 `hand`、`pos`、
|
||
`quat` 的 JSON object，也可以用 `controllers` list、顶层 `left/right`、
|
||
`pose.position`、`position`、`p`、`q` 等常见字段。
|
||
|
||
## 官方 XRoboToolkit bridge
|
||
|
||
如果使用官方 XRoboToolkit APK 和 PC-Service，可以用 `xrobotoolkit_to_udp_bridge` 从本机 ROS Python 环境中的 `xrobotoolkit_sdk` 读取左右手柄数据，再转换成当前 `udp_controller_receiver` 支持的 UDP JSON。
|
||
|
||
正式运行时不要同时启动官方 `PXREAClientUnity` / `RobotLinuxDemo` 可视化窗口。`/opt/apps/roboticsservice/run3D.sh` 会启动这个可视化 demo，适合单独确认 PICO 与 PC-Service 已连接；bridge 遥操作链路中只需要 PC-Service。
|
||
|
||
运行前只保留一个 UDP 输入源。先清掉重复 bridge、sample sender 和官方 Unity 可视化 demo，再保留或启动 PC-Service：
|
||
|
||
```bash
|
||
pkill -f '[x]robotoolkit_to_udp_bridge'
|
||
pkill -f '[s]ample_udp_sender'
|
||
pkill -f '[R]obotLinuxDemo.x86_64'
|
||
pkill -f '[P]XREAClientUnity'
|
||
pgrep -af RoboticsServiceProcess || /opt/apps/roboticsservice/runService.sh
|
||
```
|
||
|
||
启动 ROS mock 接收链路：
|
||
|
||
```bash
|
||
cd /home/robot/WS_xr
|
||
source /opt/ros/humble/setup.bash
|
||
source install/setup.bash
|
||
ros2 launch xr_rm_bringup arm_debug.launch.py arm:=both use_mock:=true
|
||
```
|
||
|
||
另开终端启动 bridge：
|
||
|
||
```bash
|
||
cd /home/robot/WS_xr
|
||
source ~/.bashrc
|
||
source /opt/ros/humble/setup.bash
|
||
source install/setup.bash
|
||
ros2 run xr_rm_input xrobotoolkit_to_udp_bridge \
|
||
--host 127.0.0.1 --port 15000 --hz 90
|
||
```
|
||
|
||
bridge 默认对 grip/trigger 做轻量滞回：`grip` 按下阈值 `0.90`、松开阈值 `0.75`；`trigger` 按下阈值 `0.95`、松开阈值 `0.75`。启动日志会打印 PID、UDP endpoint 和阈值，便于确认当前只运行了一个 bridge。
|
||
|
||
验证手柄数据是否进入 ROS：
|
||
|
||
```bash
|
||
ps -ef | grep -E 'xrobotoolkit_to_udp_bridge|sample_udp_sender|RobotLinuxDemo|PXREAClientUnity' | grep -v grep
|
||
ros2 topic hz /xr/left_controller
|
||
ros2 topic hz /xr/right_controller
|
||
ros2 topic echo /xr/left_controller --field pose.position
|
||
ros2 topic echo /xr/right_controller --field pose.position
|
||
ros2 topic echo /xr/left_controller --field grip
|
||
ros2 topic echo /xr/right_controller --field grip
|
||
ros2 topic echo /xr/right_controller --field trigger
|
||
```
|
||
|
||
`/xr/left_controller` 和 `/xr/right_controller` 持续刷新、位置随手柄移动变化、`grip` 随握持键切换，即表示官方 XRoboToolkit 数据已经进入当前遥操作输入层。
|
||
|
||
## 真机安全验证
|
||
|
||
第一次接真机时按这个顺序走：
|
||
|
||
1. 确认急停、网络、机械臂工作区和人员位置。
|
||
2. `launcher_ui.py` 中先 `Ping Left RM75` 或 `Ping Right RM75`。
|
||
3. 确认对应 YAML 中 `move_to_initial_pose_on_connect: false` 后单臂启动。
|
||
4. 手握急停，按住 `grip` 后只做小幅单轴移动。
|
||
5. 逐个确认上/下、前/后、左/右方向。
|
||
6. 小角度转动手柄，确认 `/xr_rm/<arm>/target_pose` 姿态和 `/xr_rm/<arm>/cmd_vel.twist.angular` 变化符合预期。
|
||
7. 点击对应 `trigger`，确认每次点击都会切换对应夹爪状态，松开 trigger 后状态保持且左右不串臂。
|
||
8. 确认松开 `grip` 后机械臂慢停，`/xr_rm/<arm>/cmd_vel` 回到零；trigger 仍只影响夹爪，不影响机械臂运动门控。
|
||
9. 左右臂都确认后，再进入双臂模式。
|
||
|
||
当前项目没有双臂碰撞检测/避障。双臂首次联调时，请让两个工作区在物理上分开，低速验证，不要让两臂末端互相靠近。
|
||
|
||
## 后续优化路线
|
||
|
||
为了达到“稳定可用的双臂 XR 遥操作/采摘平台”，建议按下面顺序推进：
|
||
|
||
1. 稳定 PICO 数据链路：利用 `seq`、`source_time`、`pose_valid` 做频率、延迟、丢包和追踪状态统计，记录 `/xr/*_controller`、`/xr_rm/*/raw_target_pose`、`/xr_rm/*/target_pose`、`/xr_rm/*/target_clamped`、`/xr_rm/*/current_pose`。
|
||
2. 提升真机安全性：增加启动前安全检查、软件急停 topic、UI Stop 状态提示、双臂中间区域互斥边界和速度/加速度限幅。
|
||
3. 细化末端执行器：增加夹爪状态反馈、力控比例、安全上限和现场可视化提示。
|
||
4. 接入视觉和数据记录：加入 D405/D435 相机 launch、TF、内外参和 rosbag2 实验记录。
|
||
5. 从遥操作走向半自动：先做目标检测和 3D 定位提示，再做单臂辅助，最后做双臂任务分配和任务级状态机。
|
||
|
||
## 常见问题
|
||
|
||
`launcher_ui.py` 提示找不到 `install/setup.bash`：
|
||
|
||
```bash
|
||
cd /home/robot/WS_xr
|
||
source /opt/ros/humble/setup.bash
|
||
colcon build --symlink-install
|
||
source install/setup.bash
|
||
```
|
||
|
||
真机模式提示缺少 `Robotic_Arm`：
|
||
|
||
```text
|
||
未安装睿尔曼 Python API2。请安装厂商 SDK，或用 use_mock:=true 先跑模拟模式。
|
||
```
|
||
|
||
Controller topic 没有数据：
|
||
|
||
- 确认 UDP 发送端目标 IP 是运行 ROS2 的主机 IP。
|
||
- 确认端口是 `15000`，或 launch 与发送端端口一致。
|
||
- 用 `sample_udp_sender` 在本机验证接收链路。
|
||
- 确认 `xrobotoolkit_to_udp_bridge` 没有持续打印 SDK read failed；SDK
|
||
读取失败时 bridge 会发送 `pose_valid=false` 的停止包。
|
||
|
||
机械臂不动：
|
||
|
||
- 确认 `grip=true`。
|
||
- 确认 `udp_controller_receiver` 终端没有持续 `pose_valid=false` 日志；该字段不会写入 `XrController` 消息，但会让接收端强制停止。
|
||
- 确认 `/xr_rm/<arm>/raw_target_pose` 与 `/xr_rm/<arm>/target_pose` 是否在变化。
|
||
- 确认 `/xr_rm/<arm>/target_clamped` 是否持续为 `true`，如果是，目标 TCP 可能被工作空间、圆柱半径或单帧步长限制夹住。
|
||
- 确认真机 SDK 连接成功，且 RM75 没有报警或急停。
|