养父 赵德钧。亲父 刘邟，本蓨县令。妻子 兴平公主李氏 ，後唐第二代皇帝明宗李嗣源第十三女。继妻 永安公主李氏，唐第二代皇帝明宗李嗣源第十四女。儿子赵赞,辽史称赵匡赞。
早年升迁赵延寿，常山（今河北正定）人，原来姓刘，父亲做过县令，小时候，赵延寿过着无忧无虑的生活，但后来因为战火烧到他的家乡，父亲的辖地被沧州节度使刘守文的部队攻占，他和母亲落入刘守文的属将赵德钧之手，小时候的赵延寿长得异常清秀，而且聪明伶俐，招人喜爱，有些武艺，又能做诗，他有两句诗在当时被人们广为流传，就是“占得高原肥草地，夜深生火折林梢”。因此赵德钧非常偏爱，将他收为养子，于是他便改姓为赵。在刘守文被刘守光打败之后，赵德钧也投降了刘守光，但他对刘守光的所做所为看不惯，觉得在他手下做事没有什么前途，也看出刘守光是在走一条自取灭亡的路，于是就偷着跑了出来，归附了李存勖。李存勖很器重他，让他领兵一起参加了灭梁的战争，赵德钧立下大功，被李存勖任命为北方重镇幽州和沧州节度使。