本发明公开一种病种库建立系统及方法，包括：数据挖掘模块，用于从预定的医疗子系统中搜集目标病种的临床医疗信息；临床医疗信息包括临床文本信息和/或临床影像信息；文本转化模块，用于将数据挖掘模块搜集到的临床文本信息转化为预定结构的文本信息，获取规范化文本数据；文本转化模块包括训练后的长短记忆型递归神经网络；影像信息提取模块，用于提取临床影像信息中的预定信息，获取结构化影像数据；影像信息提取模块包括训练后的卷积神经网络；数据库，用于获取并存储规范化文本数据和结构化影像数据。本发明提供的技术方案，能够自动建立起全周期、多维度数据的病种库，从而大大扩展了现有病种库的数据完整性和科研可用性。