人卫队是在葡萄牙人那里招募的，大多数是葡萄牙人的逃奴。
按照记载，当时的澳门“有850个有家室的葡萄牙人，……他们平均有6个武装奴隶。其中数量最大、最优秀的是咖吠哩人，还有其他族人，……葡萄牙人及这些人有优良的鸟铣、矛及其他武器。很少有葡萄牙人没有6或12枝火枪或燧发枪”。咖吠哩人就是来自东非的黑奴，他们大多受过军事训练，习惯使用葡萄牙人的火绳枪，作战勇敢而且不会有叛卖的问题，因而很受郑芝龙的信任，常年维持着五六百人的规模，对外号称千人。
至于日本人卫队，以他和平户诸藩的关系和曾经是天主教徒这两层，就足以让他招募到数百名基督徒出身的日本士兵了。