本发明公开一种基于自适应棱镜可实时定位追踪的自适应变焦全景监控系统，包括自适应变焦全景摄像模块、自适应棱镜组、自适应透镜组控制模块、自适应棱镜组控制模块、视频采集与合成模块、视频热点检测模块、热点信息处理模块、视频存储与显示模块。其中，视频采集与合成模块会将自适应变焦全景摄像模块采集的画面进行合成并通过视频存储与显示模块呈现全景图像。当视频热点检测模块定位到目标后，热点信息处理模块会实时检测目标位置信息并传送至自适应透镜组控制模块和自适应棱镜组控制模块，进而由这两个模块控制目标视场范围内的自适应变焦镜头及自适应棱镜实现动态追踪，从而实现全景图像与追踪图像同时呈现的功能。