马腾的母亲是羌族女子，故马腾从小在羌族地区长大，因家贫以砍柴、卖柴维持生计。公元188年，马腾应招从军，因屡建战功从小小的兵士拜为司马，又迁至偏将军，征西将军等职。
190年（汉献帝初年），马腾为东汉的征东将军，后来因为与长平岸头的守军王承发生矛盾冲突，被迫败走西上。
东汉末年，天下大乱，曹操挟天子以令诸侯，各地的豪强纷纷起兵反抗。192年（初平三年），马腾与镇西将军韩遂联合起来也加入到了抗曹的洪流中，并逐渐形成了军事联盟，准备进军长安（今西安）。后来，马腾与韩遂因事反目，连年互相残杀，马腾的妻小也被韩遂所杀。
公元196年（建安初年），马腾经劝解归附汉朝，被封为槐里侯。建安十年，曹操为了牵制马腾之子马超而使用调虎离山之计，诱骗马腾入朝为人质。建安十六年（211年），马超与韩遂等组成反曹军事联盟，进攻潼关。这样一来，曹操就正好以坐子反叛之罪，在许昌（今河南许昌市）将马腾杀害。