本发明公开了一种基于胶囊神经网络的多任务语音分类方法，涉及语音信号分析，人工智能等技术领域，解决在语音识别中的多任务分类问题。本发明主要有提取语音的特征表达，包括从频域，时域等多个角度去提取语音的初级特征；运用卷积神经网络和胶囊神经网络，在预处理后的语音初级特征基础上，再进行深层次的语音特征的抽象与学习；在高级特征之后根据多任务需求设计多个分类器，将多个分类器的损失函数融合，统一训练多任务语音分类模型，最终达到在多个任务上同时提高分类准确率。