府兵制的形成大致分为三个阶段：

第一阶段，西魏大统八年到恭帝三年（556年），主要把乡兵和治下士族豪强纳入六柱国统领系统之内，构成一个新的军事体系，即宇文泰当政时期。

第二阶段，北周明帝元年（557）到建德元年（572年），主要是乡兵经过初步整顿，二十四军确立和巩固，即宇文护专政时期。

第三阶段，建德元年（572年）到大象二年（580年），主要是进一步扩充府兵，府兵担任侍卫及制度化，主要是北周武帝掌政时期。

而要追溯府兵制度的历史，则北魏的“府户”，便可以说是府兵的前身。

“府户”组成分子，有为中原汉人强宗子弟，有为鲜卑高门子弟，任务在防戍边镇，而事业无异于世袭。

世袭为镇兵的根本原则，而镇兵的破坏亦源于此。

镇兵破坏，自然免不了掺杂其他因素，然而府户世执兵役没有机会升迁，恐怕是北镇将卒离心的主因。

不过府户世执兵役，为的要使镇兵土著，当日北方各镇，地广人稀，北人只能南徙，便不得不简选亲戚，配以高门子弟，作一种劝奖。

有时还征发中原士族豪强子弟作镇，自然也希望他们成为土著百姓。

作镇可说是变相的屯田，但比屯田为有组织，或防或移，也比较活动。

诞生镇兵制度破坏，便改置州县。

州县理民，在战乱时期军事调度诸多不便，于是府兵制度诞生。

至于西魏府兵制度，正是救镇制度之穷，二者都是精选有才力者为之不完全是代服役的制度，府兵和镇兵相比大有不同。