过其族早就迁居长安。
柴家也是隋之贵族，其父曾为废太子杨勇的东宫右内率，——右内率是近侍武官，掌备身以上的禁内侍卫，他自身曾为杨广长子，已死的元德太子的千牛备身。其出身将门，自幼便矫捷有勇力，以抑强扶弱而闻名，善骑射，李渊初起兵时，他被任为右领军大都督府长史，兼领马军总管，歼灭宋老生部、下临汾、平绛郡，历战其并先登陷阵，功勋卓著。
——“右领军大都督”，就是李渊刚起兵，将军队分为三军时，任给负责统率右军的李世民的军职。自这时起，柴绍就在了李世民的帐下，随从李世民征战到今。
却这柴绍，不仅武勇出众，且有智谋。从长安投奔李渊之际，他在路上碰上了从河东前往晋阳的李建成、李元吉兄弟。当时追捕李建成、柴绍等的文书甚急，李建成兄弟很担心，就与他相谋，认为“隋郡县连城千有余里，中间偷路，势必不全”，不如“且投小贼，权以自济”，柴绍反对：“不可。追既急，宜速去，虽稍辛苦，终当获全。若投小贼，知君唐公之子，执以为功，徒然死耳。”李建成从之，於是共走太原。他们这才安然无恙地赶上了李渊的起兵。
柴绍闻令应诺，虽是李世民的姐夫，尊卑有别，且则现是在军中，李世民是一军之主，他不以姐夫之身而疏忽礼节，行了个军礼，然后才拨马归骑兵队伍，执行李世民的军令去也。
望着柴绍驱马离去的雄健背影，李世民摸着短髭，寻思了会儿，顾问左右：“陈公何在？”
陈公，在降从李渊前，仕隋为绛郡通守的陈叔达。
绛郡新被李善道攻下，在此获知临汾县又刚被汉军攻取的此际，李世民找陈叔达来见的目的，很明显了。便有一个年不到二十、相貌与李世民稍像，打扮也颇像，——或者说是刻意求像的英朗少年，大声应了句：“阿兄，俺去请他来！”拨马转走，即向后边的车马队驰去。