卫尉统领的卫士主要负责京师宫门和皇家园陵寝庙的守卫工作。 按西汉制度 , 卫士征自郡国兵 , 一岁一更 , 轮番至京师宿卫 , 即卫宏 《汉旧仪》 所谓 “一岁为卫士”。据 《汉书· 武帝纪》 载 , 武帝即位当年即建元元年 (前 140年 ) 七月下诏曰: “卫士转置送迎二万人 , 其省万人。” 可知在武帝前 , 卫尉所领的卫士有 2万人; 武帝即位时减省为万人。但据史实看 , 武帝以后 (或是从武帝开始 ) , 卫尉所领的卫士人数有很大增加。 《汉书· 盖宽饶传》 载: 汉宣帝时 , 盖宽饶由谏大夫降为卫尉属官卫司马后 , “及岁尽交代 , 上临飨罢卫卒 , 卫卒数千人皆叩头自请 , 愿复留共更一年 , 以报宽饶厚德”。 一卫司马有卫卒数千人 , 若以 2000人计 , 则卫尉所属的 “诸屯卫候、 司马二十二官” , 共领有卫士 44000人左右。 《汉书· 韦玄成传》 则有明确记载 , 汉宣帝时 , 凡诸帝、 后的寝庙 176所、 园陵 30所 , “用卫士四万五千一百二十九人”。说明汉宣帝时 ,卫尉所领的卫士至少有 45000余人。 宣帝以后 , 卫士数量也有减少的情况。 如 《汉书· 元帝纪》 初元三年 (前 45年 ) 就诏 “罢甘泉、 建章卫士 , 令就农”。