祖先祖：吴王李恪。父：赠吴王李琨。子孙赵国公李峘。李峄。梁国公李岘，夫人独孤峻；孙李孝孙，孙女范阳卢浩妻，名未载。李峡。李嵒。李峦。李岗。李祎家教甚严，教子有方，三个儿子李峘、李峄、李岘后皆至达官，自有列传，于时有令名。根据唐制，三品以上官员可以门前立“戟”，以示尊贵，当时兄弟三人同住长兴里第，门列三戟，两国公门十六戟，一、三品门十二戟，荣耀无人可比。
友谦封爵李祎少年就很有志向，对母亲非常孝顺，与家人相处的也很和睦，抚养弟弟李袛以友爱而著称于世。710年（景龙四年），李祎任太子仆，兼徐州（治彭城，今江苏徐州市）别驾，加授银青光禄大夫。本来作为长子，李祎应该继承爵位，但是李祎坚持让给自己的弟弟李袛，唐中宗非常赞赏他的品性，因此特别封他为嗣江王作为嘉奖，以承袭唐太宗十一子李嚣的爵位。710年（景云元年），李祎出任德州（治安德，今山东陵县）刺史，此后又调任蔡（治汝阳，今河南汝南）、衢（治信安，今浙江衢县）等州刺史。初掌军权唐玄宗李隆基继位后，李祎多次担任蜀州（治今四川崇庆县）、濮（治鄄城，今山东鄄城东北）等州刺史。