本发明公开了一种分布式环境中多GPU服务器的GPU卡管理方法、系统及存储介质，其中方法包括S1获取并存储所有GPU服务器的基本信息，初始化配置表；S2获取每台GPU服务器中的空闲GPU卡，并将空闲GPU卡的编号及其所在GPU服务器编号作为一条记录存储至配置表中；S3当所有GPU服务器中的空闲GPU卡信息均已查询，且存在未遍历的模型时，于设定时间后返回步骤S1；S4当配置表中存在至少一条记录时，随机选取并删除配置表中的一条记录；S5选取一个未遍历的模型，并将其发送至选取的记录中的空闲GPU卡上运行；S6判断是否存在未遍历的模型，若是，返回步骤S4，否则搜索并汇总消息队列中记录的来自于需要训练的深度神经网络架构模型的所有记录。