具身智能教学实验箱

产品背景介绍：实验箱以AI技术、嵌入式AI、嵌入式控制等多技术构建智能化协同体系：AI模块依托双目相机实现视觉定位与目标识别，嵌入式AI单元支撑边缘推理；STM32M4主控精准驱动机械臂并规划轨迹，RFID射频与传感器技术强化环境感知，AIoT网络保障数据实时传输与远程联动，形成完整“感知-决策-执行”闭环。它既是前沿技术学习载体，更提供技术落地硬件平台，搭配视觉抓取等实验，让理论高效转化为实操能力。

一、硬件亮点：

1、核心算力强劲：搭载四核Cortex-A76 AI运算单元（主频2.4GHz），配8GB内存与128GB存储，支持主流AI框架，可同步处理实时控制与智能决策，满足AI模型部署学习需求。

2、运动系统专业：12路工业级关节舵机（扭矩19.5kg.cm，角度±120°）实现精准仿生运动，搭配锂电池与PS2手柄，适配多样化步态实训，助力掌握运动控制原理。

3、感知交互全面：集成双目摄像头、360°激光雷达等多模态设备，覆盖视觉、语音等感知维度，为环境建模等实验供数据，支持外设扩展适配多场景。

二、软件与开发环境亮点

1、系统稳定适配性强：搭载64位Ubuntu20.04操作系统，基础环境成熟可靠，大幅降低底层调试门槛，方便快速上手进行项目开发。

2、开发框架优势突出：基于ROS系统+AI算法构建，具备“易入门、强适配、高拓展”特性，可满足教学、科研、创客等多场景需求，是具身智能开发的优质载体。

1) 多网络识别货物分拣、整理项目：

基于AI计算机视觉+机械臂控制为一体的仓库货物分拣、整理项目，基于TensorFlow、PyTorch、PaddlePaddle多种框架；bayes、SVM、逻辑回归、lenet-5、mobilenet、YOLO等网络通过深度学习神经网络算法识别仓库货物，在终端进行显示及控制，可以通过机械臂将货物进行仓库间的搬运，也可以将仓库内的货物进行整理归位，并且可以直接自己编写识别算法，无需修改界面与项目源码即可直接接入项目中，部署与验证自己算法准确性；

2) AI语音机械臂控制、货物分拣：

可以使用AI离线、AI在线两种方式语音识别+机械臂控制为一体的机械臂控制、货物分拣，用户可以通过语音发布指令控制机械臂执行动作，显示语音信号的处理过程与实时处理图；

3) AR仓库货物分拣

通过AR增强现实技术实现图像识别，创建与现实中物体相关联的虚拟模型，结合鼠标或者手指的动作来操控虚拟物体，进而机械臂也跟随虚拟物体的移动进行相应的动作，也可以通过UI的操作来直接控制机械臂的运动；

4) 人脸识别一体机：

结合机械臂运动与移动式侦测摄像头实现人脸检测与识别，并与人脸库的人脸进行对比识别，实现不同人的识别，可查看、录入和删除人脸库人脸，并结合AIoT无线传感单元进行识别到正确的人开门操作；

5) 基于YOLOV8的目标检测项目：

基于可移动的摄像头和机械臂YOLOV8算法实现仓库的目标检测，包括：动物识别、水果识别、蔬菜识别、车标识别、汉字识别、英文识别；

6) 智能传感器与RFID传感项目：

基于物联网模块的拓扑图，可以显示物联网模块的传感器数据以及控制传感器状态，并且可视化历史数据，基于RFID模块的拓扑图，可以显示RFID卡中的数据；

7) 基于YOLO的手势机械臂跟踪

基于双目摄像头拍摄的画面实现YOLO算法手势的检测，并结合PID算法实现6关节度机械臂对手部的三维跟踪，使得手部一直在摄像头的中心；

8) 基于实例分割的分割界面案例：

基于分割算法，实现对实验箱摄像头数据的实时实例分割与显示；

9)基于人体骨骼检测的界面案例：

基于人体骨骼检测算法，实现对实验箱摄像头数据的实时人体骨骼检测与显示；

10) 机械臂轨迹可视化具身智能应用：

支持3D轨迹展示、DH/MDH参数配置、关节限位设置、轨迹曲线分析及多模式控制 （包括关节控制、动作组执行、逆解轨迹规划等）。界面直观，提供正视图、侧视图、俯视图及坐标信息显示，并支持一键应用、保存配置、恢复默认等功能，适用于教学、科研、工业自动化等多种场景，帮助用户高效完成机械臂运动控制与路径优化。

11) 基于NPU的目标检测应用：

基于NPU的实现实时目标识别，基于Python的YOLO部署可以达到50帧/s以上。

12) 基于NPU的车牌识别应用：

基于NPU的实现车牌识别，基于Python的YOLO部署可以达到30帧/s以上，基于C++的YOLO部署可以达到50帧/s以上。

13) 基于NPU的mobilenet网络部署应用：

基于摄像头与NPU的mobilenet分类网络，基于Python的部署可以达到70帧/s以上。

14) 基于NPU的resnet网络部署应用：

基于摄像头与NPU的实现resnet分类网络，基于Python的部署可以达到45帧/s以上。

15) 基于NPU的RetinaFace人脸关键点检测应用：

基于摄像头与NPU的RetinaFace人脸与关键点检测，基于Python的部署可以达到29帧/s以上。

16) 基于NPU的deeplabv3分割应用：

基于摄像头与NPU的deeplabv3分割网络，基于Python的部署可以达到15帧/s以上。

17) 基于NPU的Whisper语音识别应用：

基于NPU的Whisper，在设备上实现语音的录制，并使用本地的Whisper模型进行识别，RTF小于0.3。

18) DeepSeek大模型应用：

将大语言模型部署到高性能边缘计算芯片RK3588 上，实现本地化推理与应用。通过结合硬件加速和软件优化，该项目为提供了一套完整的解决方案，可实现Flask、gradio等方式的部署。

19) 多模态大模型应用

将大语言模型部署到高性能边缘计算芯片RK3588 上，可实现纯文本对话，多模态对话等。

20) 多模态大模型智能助手应用：

基于大模型的离线语音唤醒、语音识别、语音合成实现大模型的连续对话，并结合摄像头和视觉多模态大模型将摄像头看见的进行描述，并结合Agent实现设备传感器状态获取与控制。