人工智能机器人开发套件

产品背景介绍：在机器人开发领域，ROS系统应用广泛，其与AI、运动控制技术的深度融合，已成为驱动产业发展的核心动力。当前高校相关专业实训中，急需兼顾理论深度与实操价值、衔接技术前沿与工程实践的创新平台。本实验箱以ROS为核心基座，集成AI算力、嵌入式运动控制、多模态感知交互等关键技术，构建一体化实训载体，平台覆盖运动学、视觉融合等核心内容，含轨迹规划、智能仓储等实验及货物分拣等创新项目，助力实现从基础到高阶的完整学习链路。

一、硬件

（1）双运算单元高效协同：AI运算单元（四核Cortex-A76，主频2.4GHz）专攻AI模型推理与视觉处理；ROS运算单元（四核Cortex-A72）专攻ROS通信与运动规划，双单元协同保障控制精度与智能算力。

（2）全场景硬件外设：集成六关节机械臂（含STM32M4主控）、双目深度相机、360°激光雷达、智能语音模组，覆盖视觉感知、运动控制、语音交互等多领域实践。

（3）丰富互联接口：独立的PCIe 2.0总线通道、千兆以太网、双频Wi-Fi、蓝牙5.0等，支持多设备灵活拓展。

二、软件与开发环境

（1）分层架构易上手：基于ROS系统提供从基础通信到导航建图的完整示例代码，AI层支持PyTorch/TensorFlow开发，双运算单元通过标准化接口协同，降低开发门槛。

（2）教学资源全覆盖：从Python基础、ROS原理与基础、STM32开发，到基于PyTorch的机器学习/深度学习、机械臂运动学、深度相机开发、机械臂强化学习、ROS机械臂开发，适配不同学习阶段。

（3）拓展性强适配广：内置AI算法库与ROS功能包，支持自定义功能扩展与仿真平台对接，满足从入门到高阶的全栈开发学习需求。

三、教学与实训价值

（1）学科覆盖广：涵盖嵌入式开发（STM32）、机器人操作系统（ROS）、人工智能（PyTorch机器学习/深度学习化学习）、计算机视觉（YOLO目标检测、双目视觉）等多领域，可系统学习芯片驱动、ROS通信机制、运动学与轨迹规划、AI模型训练与部署等核心知识。

（2）阶段适配性强：入门级通过Python/ROS基础快速实现键盘控制与建图导航；进阶级可扩展MoveIt!机械臂控制与视觉抓取；科研级支持自定义传感器接入、强化学习仿真训练与Sim-to-Real迁移。

（3）工教平衡佳：采用工业级双运算单元保障稳定，配套开源代码与详细实验指导书，适配高校课程设计、毕业设计及学科竞赛，兼顾工程实用性与教学属性。

1.机器人地图构建

在硬件上采用rplidar-A1雷达和带码盘的直流减速电机来分别提供深度信息和里程计信息，利用ros中开源项目gmapping功能包，通过仿真软件rviz，实现室内slam地图构建。

2.Navigation自动导航

在已经构建完成的地图上，利用开源项目amcl定位功能包和move_base功能包，并采集雷达和里程计信息，使用仿真软件rviz，实现机器人的自动避障导航。

3.机器人手势识别

通过图像处理识别不同的手势。

4.机械臂目标跟踪

通过摄像头捕获现场情况，自动检测当前画面中的人手，点击开始跟踪后，机械臂通过上下左右调节使得画面中的人手始终在画面的位置，如果画面中有多个人手，机械臂会选择跟踪画面中面积的手；当画面中没有人手被检测到时，20秒后机械臂会自动退出跟踪。

5.智能音响机器人控制

通过麦克风完成语音采集，将采集到的语音进行识别，并在识别完成后发送对应的控制指令，下发到ROS端进行小车的控制，或者发送到机械臂控制板，控制机械臂运动。

6.遥控化机器人

通过PS2手柄完成对ROS机器人以及机械臂的控制，包括ROS机器人基于麦克纳姆轮在平面上的360度运动，以及机械臂的运动抓取控制等等。

7.实时跟踪全倾斜摄像机平台

通过摄像头捕获拍摄场景，用户选择HSV颜色区间，可以对某物体进行颜色背景分割，运算器可对该物体进行位置标注并控制机械臂对其进行跟踪，使其一直保持处于摄像头捕获场景的正中心。

8.博物馆引导机器人

可在博物馆或者会场进行引导导航，在博物馆中，可设置A、B、C三个展柜的坐标系，该坐标系的原点是固定的，为机器人出发点。在用户选择去哪个展柜进行参观后（三个展柜可同时选择或者只选择某些展柜，并且顺序可调换），有两种方式对用户进行引导：

1)定距离方式，该方式相对比较简单，只作为学生学习坐标系变换和机器人传感器数据处理时使用，该方式可通过笛卡尔坐标系与极坐标系的转换，不通过地图构建与导航的方式直接与传感器数据进行交互，实现引导作用。

2)定点方式：该方式需要对博物馆或者会场的地图进行构建，构建后选择要参观的展柜，机器人会根据构建好的地图与自身的坐标实现引导作用。

机器人在引导过程中会实现语音播报，提示用户到达某个点或者要前往什么地点。播报内容可修改以使用不同的场景，在引导完毕后，机器人会返回出发点等待下次引导。

9.餐厅送餐机器人

可在餐厅中实现机器人送餐，该项目将AI+ROS+机械臂结合起来，以厨房为视角，在完成食物制作后，将食物放到机器人上，机器人会根据食物上的餐桌二维码判断送达地点，并可通过两种方式对食物进行配送：

1)定距离的方式：该方式通过运算器与传感器的数据交互与处理，实现食物配送。

2)定点方式：该方式可提前构建餐厅地图，在判断到达地点后完成自动导航的食物配送。

配送到达后，机械臂会从机器人上将食物取下，并进行语音提示，语音可修改以适配不同场景，在语音提示后，机器人会返回厨房等待下次配送。