从广义上来说，可以把智能视频分析技术分为三类：
视频分析类：该类主要是在监控图像中找出目标，并检测目标的运动特征属性(如目标相对的像素点位置，目标的移动方向及相对像素点移动速度，目标本身在画面中的形状及其改变)，根据以上的基本功能，视频分析可分为以下几个功能模块：周界入侵检测、目标移动方向检测、目标运动、停止状态改变检测、目标出现与消失检测、人流量、车流量统计、PTZ自动追踪系统、系统智能自检功能等。
视频识别类：该类包括人脸识别、步态识别与车牌识别，其主要技术是在视频图像中找出局部中一些画面的共性，如人脸必然有两个眼睛，如果可以找到双目的位置，那么就可以定性人脸的位置及尺寸。
视频改善类：该类主要是针对一些不可视、模糊不清，或者是对振动的图像进行部分优化处理，以增加视频的可监控性能。具体包括：红外夜视图像增强处理、车牌识别影像消模糊处理、光变与阴影抑制处理、潮汐与物体尺寸过滤处理、视频图像稳定系统等。
从实现方式来看，智能视频分析技术目前有两种常用方式，*种是基于智能视频处理器的前端解决方案；第二种是基于监控的后端智能视频分析解决方案。
基于视频处理器的前端解决方案：所有的目标跟踪、行为判断、报警触发都是由前端智能分析设备完成，只将报警信息通过网络传输至监控中心。优点是：视频分析设备被放置在IP摄像机之后，这样可以有效的节约视频流占用的带宽；缺点是：价格昂贵，安装复杂；前端设备分散、易损率高；报警记录与视频监控分开。
基于监控的后端智能视频分析解决方案：所有的前端摄像机仅仅具备基本的视频采集功能，而所有的视频分析都必须汇集到后端或者关键节点处由计算机统一处理。优点是：无需红外传感器等前端检测设备、可有效与现有监控系统融合、针对不同需求规则改变灵活、可扩展性强；缺点是：只能控制若干关键的监控点，并且对计算机性能和网络带宽要求比较高。
