后元二年，汉武帝病重，便选四位肱骨之才辅佐太子刘弗陵。分别是霍光、金日磾、桑弘羊、上官桀。其中金日磾，字翁叔，原为匈奴休屠王的王子。

元狩二年，汉武帝派遣霍去病讨伐匈奴，使得浑邪王、休屠王（金日磾的父亲）深受打击，伤亡惨重。此事被匈奴单于得知后，准备以此为借口，准备召二人前去并杀害。此事被浑邪王、休屠王率先获悉，于是他们派使者通报汉朝准备投降。而休屠王觉得自己损失不大，单于可能不会杀害自己，便在归降途中返回，遭到浑邪王的杀害。其部下家属随浑邪王降汉。

金日磾被安置在黄门署喂马，时年十四岁。有一次汉武帝在宫宴中看马戏以助兴，当看到一位容貌威严，目不斜视的牵马少年时，便详细打问起来，得知是金日磾是休屠王的儿子后，随即赐汤沐浴，更换衣冠，并封为马监。没过多久，又将其迁升至侍中、驸马都尉、光禄大夫。

金日磾受到汉武帝的宠信是有原因的，在侍奉汉武帝过程中，从未有过过失，而且也很有规矩，从不因汉武帝赏识自己而趾高气扬，恃宠而骄。这离不开他母亲对两个儿子教导有方。。他母亲病逝之后，武帝下诏将她画像悬挂于甘泉宫之中，题名“休屠王阏氏”。

金日磾的儿子是汉武帝逗乐的弄儿，深得武帝的宠爱，长大后的长子行为不检点，在殿下与宫女嬉闹，被金日磾所杀。

武帝晚年，曾发生巫蛊之祸。江充对卫太子诬陷，促使太子刘据起兵反抗，被江充死党侍中仆射马何罗的弟弟马通力战攻克，马通因此被封爵。然而次年，汉武帝知道太子冤屈，江充被诛灭宗族及党羽。马氏兄弟因惧怕遭受株连，遂策谋造反。但此时被金日磾察觉，始终监视二人，令他们不敢妄动。后来马何罗在林光宫刺杀汉武帝，被金日磾死死抱住，被赶来的侍卫捉拿伏法。

纵观金日磾的一生，身为汉朝臣子，他以审慎、忠贞、廉洁、勤恳为国效力，并成为武帝的托孤大臣，在有汉之世，得以七世传承。