本发明公开了基于动态图像和视频子序列的第一人称视角手势识别方法，涉及第一人称视角手势识别领域；其的包括步骤1：采集彩色视频和深度视频，并对视频预处理获得视频数据；步骤2：根据视频数据构建动态图像和提取视频代表序列；步骤3：将动态图像和视频代表序列输入微调后的神经网络模型获取特征，将特征输入SVM分类器获得类别概率；步骤4：将类别概率进行融合完成手势识别；本发明解决现有基于深度学习的手势识别特征提取流程复杂、精度低的问题，达到了简化手势识别流程，提高识别精度的效果。