卫齐是卫武子之子，卫武子是晋文公的五贤士，是晋文公的“贴身侍卫”。正如魏无子的谥号一样，魏无子是一个武功高强的人。魏无子曾与晋公子重耳一起被流放了20年，之后回到晋国，成为了晋文公手下的将军。

在晋文公、晋襄公、晋灵公、晋成功、晋景公时期，魏无子的家人并没有得到太多的重用，因为魏无子只擅长武功，却不会什么战略。晋文公需要的是像呼延、赵帅这样能力出众的人。正是因为晋文公用人得当，晋国才得以迅速发展，短短九年就灭了秦国。，成为春秋霸主。

魏家的崛起，比赵栓的赵家，缺缺的缺家，甚至韩珏的韩家都晚了很多。直到晋裕公时期，魏氏后裔魏姜，也就是魏武子的孙子，受到晋裕公的重用。晋道公也有意将魏氏拉入晋国六庆集团，使魏氏正式进入晋国政局的核心管理。

卫楷常被称为楚武子，因为卫齐的封地在芦底，所以人们以他的封地称呼他，称吕齐、芦武子。魏齐是毕万的后裔，毕万是晋献公时期的大将。因与晋献公、申圣太子征战，战功赫赫，受封于魏氏，魏氏由此而生。