斛律光兄弟受家庭的影响和熏陶，少工骑射，以武艺知名，17岁被高欢提为亲信都督，多次随父出征，不久后就被提升为征虏将军，累升卫将军。有一次，斛律光随世宗打猎，见天上双雁飞来，他一箭二矢，双雁同时落地；又有一次，一大鸟在空中盘旋，斛律光引弓射之，正中鸟颈，大鸟如车轮般旋转落地，细看原来是一只大雕，这件事在当时引起了轰动，斛律光也因此赢得了“落雕都督”的美誉。斛律光治军严整，打起仗来，总是身先士卒，因此他的部队战斗力很强，以勇猛无敌而著称。在北齐和北周的频繁战争中，他带兵征战几十年，多次立功，从无败绩，北周的将士们都很惧怕他。
河清三年（公元564年），北周大将达奚率军入侵北齐的平阳（今山西临汾西南），听说北齐派斛律光迎战，便吓得不战而退，齐军不费一兵一卒而取胜，这件事很快传扬开去，斛律光更加名声大振。同年冬，北周宇文护以尉迟迥为先锋，率兵10万亲自挂帅出征，攻打洛阳。北齐则派兰陵王高长恭和斛律光前往救援，在这次战役中，斛律光首战告捷，与高长恭突破重围成功进驻洛阳城，与城内守军会合。他还凭借着自己高超的箭术将闯进军营的北周猛将王雄射中，王雄当晚因伤势过重死去，北周军营中顿时军心大乱。斛律光于是看准时机，乘势大败周军，不仅斩杀敌方兵将无数，而且“尽收其甲兵辎重”，斛律光因功封太尉，加封冠军县公。
天统三年（公元567年）十二月，北周再次围攻洛阳，同时阻断了齐军的粮道。斛律光于第二年正月奉命前往征讨，他“擐甲执锐，身先士卒”，多次大败周军的拦截追杀和围攻偷袭后班师凯旋，不久因功被加封为右丞相、并州刺史。这年冬天，斛律光在玉壁营筑了华谷、龙门二城，随后进围定阳，营筑南汾城，胡、汉民众万余户前来归附。
武平二年（公元571年），斛律光率众筑平陇、卫壁、统戎等镇、戍13所。又接连两次打退了北周对平陇和宜阳的进攻，进而夺取北周的建安等四戍，俘获周军千余人。显赫的功绩使得斛律光很快就以军功累官至大将军，其父斛律金去世后，斛律光又袭咸阳郡王爵，拜左丞相。
斛律光之弟斛律羡是镇守边境的大将，在任幽州刺史期间，布防甚严，突厥人很害怕他，不敢犯边，称他为“南面可汗”。多年以来，斛律家族因为战功显赫而成为当时首屈一指的显贵世家。不仅如此，斛律光的子女还多与皇室联姻，女儿中有的做了皇后，有的当了太子妃 ，他的子弟均封侯拜将 ，还娶了三位公主为媳。可是，和父亲斛律金一样，斛律光常常为此忧心不已，怕惹来祸患。他严整治家，杜绝贿赂，也从不轻易干预朝政。
昏庸无能的北齐后主高纬即位以后，宠信奸佞，不久就搞得朝野上下一片黑暗腐败。斛律光对此深恶痛绝，曾多次痛骂那帮奸臣，从而招致了他们的恐惧和忌恨。不久，由于北周大将韦孝宽屡与斛律光交战不能获胜，便利用斛律光与朝廷权臣有隙，制造了斛律光篡位的谣言，还编成儿歌，在邺城传唱，祖廷等奸臣乘机向高纬进谗言，诬告斛律光谋反。武平三年（公元572年）六月，斛律光被诱骗到宫中遭杀害，时年58岁，其子孙尽被诛杀。几代忠心为国的斛律家族最后就遭到了这样的悲惨命运，成为了封建帝王统治下的牺牲品。
公元577年，周武帝发兵长驱直入邺城，失去了忠臣良将的北齐再无还手之力，北齐亡。