字文氏源于匈奴，南匈奴的远属，世为东部大人。其语与鲜卑大体相同。宇文氏人皆剪发而留其顶，以为首饰，长过数寸时则将其剪短。他们过着以游牧为主，狩猎为辅的生活。
字文氏始祖葛乌菟为匈奴苗裔，原来居住在阴山。他雄武多算略。匈奴人奉他为主，遂统领匈奴十二部，世为大人。
约公元一世纪，匈奴有的西迁，有的南下，余众10多万落，归附于辽东太守，散处于辽东、辽西塞外(东北长城障塞以外之地)，与鲜卑部落杂居。迁居辽河东西以后，字文氏始以匈奴酋长的身份统治鲜卑人，加入鲜卑部落联盟，逐渐鲜卑化，遂称鲜卑宇文氏。
东汉桓帝时(146一167年)，檀石槐分鲜卑为东、中、西三部，自右北平(治今河北省丰润县东南)至辽东接夫余20余邑为东部，宇文氏为东部大人。檀石槐军事联盟解体之后，字文氏自成一部。
晋元康三年(293年)，宇文莫槐因为政残暴，为部下所杀，更立他的弟弟普拨为大人。普拨死后由他儿子丘不勤继位，丘不勤娶拓跋绰(平帝)女为妻。丘不勤卒，儿子莫珪(避拓跋珪讳、改为廆)。莫珪遣弟屈云攻慕容廆，败归。又遣别部素延袭慕容廆于棘城，又被打败。当时莫珪部众日益强胜，自称单于，塞外诸部皆畏惧之。莫珪不断扩大疆域，西起浦东(今河北省滦河县东)，东至柳城(今辽宁省朝阳市)，包括今西拉木伦河和老哈河一带。即今内蒙古的赤峰市、开鲁县、敖汉旗、喀喇沁旗、翁牛特旗以及巴林左右旗之地，均是宇文部领地。初建牙帐于紫蒙川(今辽宁省朝阳市西北)。
莫珪死后，由儿子逊昵延继位，曾于元康八年(298年)，向拓跋部朝贡，并娶拓跋禄官长女为妻。自公元2世纪20年代开始，字文部、段部、慕容部之间争夺愈演愈烈。晋太兴二年(319年)，平州刺史崔毖自己认为是冀州望族，坐镇辽东，而北方士庶不归于己而归慕容廆，心中不平，于是联合宇文部、段部及高句骊攻慕容廆。逊昵延率数十万众攻打棘城，他自恃众多，而防备松懈，被慕容廆子翰偷袭其营，遂大败，部众多为廆所俘。
逊昵延死后，字文乞得归嗣立，依附后赵石勒。太宁三年(325年)，奉石勒之命，攻打辽东慕容廆。廆遣子统出兵抵抗，乞得归屯保浇水(今西拉木伦河)，皝又攻乞得归，乘胜长驱直入，占领柳城，获资财数亿，迁其部民数万户而归。咸和八年(333年)，乞得归为别部大人宇文归所杀。宇文归自立为王，与皝对峙，屡次返攻柳城，并且与辽西段部鲜卑结盟南北夹击，但都没有成功。建元二年(344年)燕以2万骑讨伐宇文部，宇文归派遣大涉奕干率精兵迎战，大败而归。燕乘胜北追，占领了宇文部的牙帐紫蒙川，宇文归远走漠北，投靠高句骊，部众离散。皝收其资产，迁其部众5万余落于昌黎(今辽宁省义县)。
从此宇文部大多归慕容部管辖，后属于拓拔鲜卑，北魏末期，宇文泰势力强盛，专政西魏，子孙取代西魏建立北周。