人工智能教学实验箱旗舰版

人工智能教学实验箱旗舰版AIARMU，由工业机械臂、工业级USB免驱摄像头、激光雷达模块、18.5英寸显示终端、嵌入式AI控制单元、物联网一键还原节点、嵌入式AI运算单元、RFID射频模块等组成。采用了人工智能计算机视觉与语音技术+嵌入式Linux技术+物联网技术+机械臂控制技术+AR技术的融合，同时满足了“人工智能+嵌入式”、“人工智能+物联网”、“人工智能+机器人”的基础教学需求。

同时配套设计了系统的“嵌入式人工智能”课程体系，以及系统的AI+嵌入式开发、AI+机械臂开发以及AI+物联网技术开发的相关理论及应用实验，并设计了AI计算机视觉仓库货物分拣/整理、AI语音机械臂控制、货物分拣、AR仓库货物分拣、AI人脸识别开门、手势识别远程遥控等多个创新教学项目。

1.多模态AI硬件集成，打造全栈式开发环境

1)高性能AI运算单元：搭载主流边缘计算芯片，支持本地大模型部署与推理。

2)实时控制芯片：满足机器人运动控制、传感器融合等高实时性需求。

3)双目深度相机：实现三维空间感知、物体识别与定位。

4)离在线AI语音交互模块：支持语音识别、语义理解与语音合成，适用于智能家居与人机交互场景。

5)激光雷达模块：用于环境建模，是构建具身智能体在复杂非结构化环境中实现自主行为的关键传感器之一。

6)RFID模块：具备非接触式身份识别与信息读写能力，为智能仓储和具身智能系统的闭环控制提供关键感知支持。

7)6关节机械臂：实现抓取、分拣、装配等任务，学习正逆解与强化学习，是具身智能研究的理想载体。

2.软硬一体，开放性强，支持多层级开发

平台不仅提供丰富的硬件资源，还配套完整的软件开发套件（SDK）与算法库，源码级开放，满足高级用户自定义算法开发与模型优化需求，支持从基础教学到科研创新的多层次使用场景，真正做到“学得会、做得出”。

3.模块化设计，灵活扩展，适应多样化教学与研究方向

平台采用模块化架构设计，各功能组件可独立运行或组合使用，便于根据教学内容或研究课题进行灵活配置。

1)可组合为人工智能教学实验箱、大模型实验箱、具身智能教学实验箱、强化学习实验箱等多个子平台。

2)支持第三方传感器、执行器接入，满足个性化扩展需求。

3)配套标准接口协议与通信协议文档，方便二次开发与系统集成。

4.配套完整课程体系与案例资源，助力教学落地

平台不仅是一套硬件设备，更是一个完整的教学解决方案，提供从到进阶实践的系列课程资源，内置上百个典型实验案例，如目标检测、大模型交流、多模态对话、机械臂正逆解、机械臂轨迹规划等。真正做到“教、学、做”一体化，提升教学效率与学生参与度。

5.注重安全性与稳定性，适配多种应用场景

硬件结构坚固耐用，适用于教学实验室、创客空间、竞赛训练基地等多种环境。软件系统经过严格测试，支持长时间稳定运行，满足高强度实训与科研需求。稳定可靠，易于维护，真正实现“开箱即用，长期可用”。

6.高性能AI运算单元可切换

标配RockchipRK3588，其它的需增配，如RockchipRK3588、JetsonOrin、树莓派5、华为昇腾Atlas

1)多网络识别货物分拣、整理项目：

基于AI计算机视觉+机械臂控制为一体的仓库货物分拣、整理项目，基于TensorFlow、PyTorch、PaddlePaddle多种框架；bayes、SVM、逻辑回归、lenet-5、mobilenet、YOLO等网络通过深度学习神经网络算法识别仓库货物，在终端进行显示及控制，可以通过机械臂将货物进行仓库间的搬运，也可以将仓库内的货物进行整理归位，并且可以直接自己编写识别算法，无需修改界面与项目源码即可直接接入项目中，部署与验证自己算法准确性；

2)AI语音机械臂控制、货物分拣：

可以使用AI离线、AI在线两种方式语音识别+机械臂控制为一体的机械臂控制、货物分拣，用户可以通过语音发布指令控制机械臂执行动作，显示语音信号的处理过程与实时处理图；

3)AR仓库货物分拣

通过AR增强现实技术实现图像识别，创建与现实中物体相关联的虚拟模型，结合鼠标或者手指的动作来操控虚拟物体，进而机械臂也跟随虚拟物体的移动进行相应的动作，也可以通过UI的操作来直接控制机械臂的运动；

4)人脸识别一体机：

结合机械臂运动与移动式侦测摄像头实现人脸检测与识别，并与人脸库的人脸进行对比识别，实现不同人的识别，可查看、录入和删除人脸库人脸，并结合AIoT无线传感单元进行识别到正确的人开门操作；

5)基于YOLOV8的目标检测项目：

基于可移动的摄像头和机械臂YOLOV8算法实现仓库的目标检测，包括：动物识别、水果识别、蔬菜识别、车标识别、汉字识别、英文识别；

6)智能传感器与RFID传感项目：

基于物联网模块的拓扑图，可以显示物联网模块的传感器数据以及控制传感器状态，并且可视化历史数据，基于RFID模块的拓扑图，可以显示RFID卡中的数据；

7)基于YOLO的手势机械臂跟踪

基于双目摄像头拍摄的画面实现YOLO算法手势的检测，并结合PID算法实现6关节度机械臂对手部的三维跟踪，使得手部一直在摄像头的中心；

8)基于实例分割的分割界面案例：

基于分割算法，实现对实验箱摄像头数据的实时实例分割与显示；

9)基于人体骨骼检测的界面案例：

基于人体骨骼检测算法，实现对实验箱摄像头数据的实时人体骨骼检测与显示；

10)机械臂轨迹可视化具身智能应用：

支持3D轨迹展示、DH/MDH参数配置、关节限位设置、轨迹曲线分析及多模式控制 （包括关节控制、动作组执行、逆解轨迹规划等）。界面直观，提供正视图、侧视图、俯视图及坐标信息显示，并支持一键应用、保存配置、恢复默认等功能，适用于教学、科研、工业自动化等多种场景，帮助用户高效完成机械臂运动控制与路径优化。

11)基于NPU的目标检测应用：

基于NPU的实现实时目标识别，基于Python的YOLO部署可以达到50帧/s以上。

12)基于NPU的车牌识别应用：

基于NPU的实现车牌识别，基于Python的YOLO部署可以达到30帧/s以上，基于C++的YOLO部署可以达到50帧/s以上。

13)基于NPU的mobilenet网络部署应用：

基于摄像头与NPU的mobilenet分类网络，基于Python的部署可以达到70帧/s以上。

14)基于NPU的resnet网络部署应用：

基于摄像头与NPU的实现resnet分类网络，基于Python的部署可以达到45帧/s以上。

15)基于NPU的RetinaFace人脸关键点检测应用：

基于摄像头与NPU的RetinaFace人脸与关键点检测，基于Python的部署可以达到29帧/s以上。

16)基于NPU的deeplabv3分割应用：

基于摄像头与NPU的deeplabv3分割网络，基于Python的部署可以达到15帧/s以上。

17)基于NPU的Whisper语音识别应用：

基于NPU的Whisper，在设备上实现语音的录制，并使用本地的Whisper模型进行识别，RTF小于0.3。

18)DeepSeek大模型应用：

将大语言模型部署到高性能边缘计算芯片RK3588 上，实现本地化推理与应用。通过结合硬件加速和软件优化，该项目为提供了一套完整的解决方案，可实现Flask、gradio等方式的部署。

19)多模态大模型应用

将大语言模型部署到高性能边缘计算芯片RK3588 上，可实现纯文本对话，多模态对话等。

20)多模态大模型智能助手应用：

基于大模型的离线语音唤醒、语音识别、语音合成实现大模型的连续对话，并结合摄像头和视觉多模态大模型将摄像头看见的进行描述，并结合Agent实现设备传感器状态获取与控制。