大司马首次出现于晋干宝《搜神记》卷四:文王以太公望为灌坛令。期年,风不鸣条。文王梦一妇人。文王觉,召太公问之。是日果有疾雨暴风,从太公邑外而过。文王乃拜太公为大司马。
大司马是中国古代对中央政府中专司武职的最高长官的称呼。类似于后世的天下兵马大元帅,现代的武装部队总司令。《周礼》以大司马为夏官之长。大司马之职,掌建邦国之九法,以佐王平邦国。以九伐之法正邦国。应劭曰:司马,主武也,诸武官亦以为号。
大司马,古代官名。《周礼夏官》有大司马,掌邦政。汉承秦制,置丞相、御史大夫、太尉,汉武帝罢太尉置大司马。 西汉一朝,常以授掌权的外戚,多与大将军、骠骑将军、车骑将军等联称,也有不兼将军号的。
东汉初为三公之一,旋改太尉,东汉末年又别置大司马,位在三公之上。魏晋为上公之一,位在三公之上,第一品。南北朝或置或不置,北朝魏、齐的大司马与大将军并为二大,典武事,亦在三公之上。