本发明提供了一种基于双流卷积神经网络的人脸情绪识别方法，主要涉及利用多尺度人脸表情识别网络分别对单帧人脸图像和人脸序列进行学习分类。该方法包括：构建多尺度人脸表情识别网络(其中包括处理224×224，336×336两种分辨率的两个通道网络)，利用该网络并行提取不同分辨率下的人脸表情特征，且有效结合图像的静态特征和表情序列的动态特征进行训练学习，再将两通道模型进行融合，测试得到人脸表情的分类效果。本发明充分发挥深度学习的优势，有效避免手动提取特征的偏差和耗时长等问题，使得本发明方法的适应能力更强。此外，利用双流网络的结构特征，并行训练及预测，形成一种互补的架构，再融合两个子网络的训练模型，提高表情识别的准确率及工作效率。