本发明公开一种自然场景图像敏感文字的检测识别方法，包括步骤：获取训练样本，训练样本数据包括自建的自然场景敏感文字数据集和公开的文字数据集；建立基于改进DSSD网络的敏感文字直接识别模型并进行训练学习；在自然场景中获取测试样本图像，将测试样本图像输入所述敏感文字直接识别模型，对测试图像中的敏感文字进行检测和识别，实现对自然场景下多方向、变化复杂的文本区域的敏感词识别。本发明解决了基于单字符进行识别的稳定性，又解决了字符样本问题，简化识别过程，大大提高了自然场景中敏感文字的检测识别速度和精度；能够对自然场景下多方向、变化复杂的文本区域的敏感词进行识别。