1、源于姜姓。据《通志》载：柴氏，姜姓。齐文公子高之后。高氏傒，以王父字为氏。十世孙高柴，仲尼弟子。柴孙举，又以王父字为柴氏。
2、源于鲜卑族和氐族、羌族等，出自东汉时期鲜卑吐谷浑部，属于汉化改姓为氏。
3、源于蒙古族，属于汉化改姓为氏。
4、源于满族，属于汉化改姓为氏。据典籍《清朝通志·氏族略·满洲八旗姓》记载：满族赛密哷氏，亦称塞蒲里氏，源出金国时期女真白号姓氏，以姓为氏，满语拼音为Saimire Hala，世居萨哈尔察（今黑龙江北岸 布列亚河流域）、齐齐哈尔、长白山区和黑龙江沿岸等地，后多改汉字姓为柴氏、赛氏等。随后达斡尔人中也出现柴姓。