# 基于树莓派的互动性宠物机器人

**Repository Path**: qihai/Interactive-robots

## Basic Information

- **Project Name**: 基于树莓派的互动性宠物机器人
- **Description**: 实现了在树莓派控制下的基于人脸识别，语音识别，手势识别的互动机器人，能够通过语
音，手势等命令进行实时互动，并具备动作，表情互动回应。

- **Primary Language**: C++
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 4
- **Created**: 2023-07-23
- **Last Updated**: 2023-07-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

项目名称：
      
基于深度学习的互动宠物机器人 开发环境：Linux+Arduino+SolidWorks

项目简介：

        实现了在树莓派控制下的基于人脸识别，语音识别，手势识别的互动机器人，能够通过语
    音，手势等命令进行实时互动，并具备动作，表情互动回应。


功能实现：


        整体具备三个模块的设计，最上层为数据采集系统，通过树莓派提供的摄像头进行人脸识
    别和手势姿态识别，并通过语音采集模块进行语音命令的识别。在识别到交互信息后，
    将通过深度学习算法将人脸信息、手势信息、语音信息进行识别认证，并通过网络协议发送到实时        
    监控的服务器中，并将数据统一放入消息队列中等待中间层的决策系统调用。


	    第二层为部署在树莓派上的数据收集中心和决策算法，采用多线程并行的策略将实时采集到
    的交互数据提交给决策算法。决策算法中将根据命令是否学会来调用学习程序还是执行程    
    序，并通过交互者的信息来执行不同程度动作表现，通过决策算法的计算，即便相同命令
    下的执行动作也会因为交互者的信息以及交互程度而展现不同的执行能力。



        第三层为最底层的执行端，执行端采用ESP32芯片进行控制，并且同时驱动8个MG995舵机实现
    4足形态的机器人，机器人能够展现并执行大约20种动作，并具备丰富的表情通过显示屏幕展现。
    决策层的决策结果将作用到执行端完成譬如握手、坐下、跳舞等动作的执行，在交互状态下，为了更
    好的获取交互信息，机器人能够实时跟踪人脸的移动。
    
项目视频介绍：


    数据采集视频中，左边为服务器接收到的人脸，声音，手势信息。右边为实时监控，最下面的linux显示的为人脸坐标
    其余小视频为动作和表情的展示
    手势数组对应：
    ["Unknow","Fist-Bumps","Angry","Happy","Disagree","SitDown","Hello","Agree","Shoot","Bye","Pink Up","Thumb Up","Fuck","OK","love","Rock'n'Roll"]
    姓名数组对应：
    ['ChenGuo', 'ChenYJ', 'DaBing', 'FuCheng', 'KouZY', 'LiangDW', 'LiuBing', 'Rambo', 'TuJian', 'YanCL', 'ZhuXH']

资源连接：

    https://mp.csdn.net/mp_download/manage/download/UpDetailed