本发明公开的一种基于切换的卡尔曼滤波模型的手势识别方法，包括：建立手势视频库，对其预处理；去除视频帧图像背景，基于肤色模型分割出双手与脸部区域；对三个区域进行形态学操作，分别计算质心，获得脸部与双手的位置矢量和双手间的位置矢量；计算光流场，得到双手质心的光流矢量；定义编码规则，对每帧图像的两个光流矢量和三个位置矢量进行编码，得到手势特征链码库；构建S?KFM图模型，以特征链码序列作为其观测信号，以手势姿态含义序列作为其输出信号；以特征链码库作为S?KFM的训练样本进行学习得到最优参数；对待识别的手势视频，重复相关步骤，获得相应特征链码，将其作为S?KFM的输入进行推理，最终获得手势识别结果