本发明提供了一种基于深度学习的人脸序列的表情分析方法,主要涉及利用多尺度人脸表情识别网络对人脸序列表情进行分类。该方法包括：构建多尺度人脸表情识别网络(其中包括处理128×128，224×224，336×336等不同分辨率的三个通道)，并利用该网络并行提取不同分辨率的人脸序列中的特征，最后融合这三种特征，得到人脸序列表情的分类。本发明充分发挥深度学习的自我学习能力，避免了人工提取特征的局限性，使得本发明方法的适应能力更强。利用多流深度学习网络的结构特征，并行训练及预测，最后融合多个子网络的分类结果，提高了准确率及工作效率。