早期事迹李敬玄年轻时博览群书，精通礼制，后在马周的推荐下，进入崇贤馆，成为太子李治（即后来的唐高宗）的侍读。他虽生性冷峻，但研究学问非常勤勉，受到许敬宗等人的赞誉，历任西台舍人、弘文馆学士、右肃机、检校太子右中护。担任宰相669年（总章二年），李敬玄升任西台侍郎、同东西台三品，兼任检校司列少常伯，成为宰相。他将司列（即吏部）事务委托给员外郎张仁祎，并沿袭张仁祎修正的选官程序，主持选官多年，使得铨选录用有条不紊。672年（咸亨三年），李敬玄担任吏部侍郎，加封银青光禄大夫，仍兼任太子右庶子、同中书门下三品，后又监修国史。675年（上元二年），李敬玄升任吏部尚书。他主掌吏部多年，又和赵郡李氏联宗，前后三任妻子都出身山东士族，因此在朝中势力极大。
永徽年间，候补官员逐渐增多，主持选官的人很少有称职的。李敬玄主持选官后，却得到天下人的称赞。他记忆过人，每年参选官员一万多人，只要在街上遇到，都能叫出名字。官员未被选用前来投诉的，他也能当场口述他们书判中的错误，毫无差错。杭州参军徐太玄曾因同僚张惠母亲年迈，到府衙自首，称自己与张惠一同贪赃。张惠得以免去死罪，徐太玄也因此被免去官职，十几年不得升迁。李敬玄得知后，非常赞赏，擢升他为郑州司功参军。徐太玄后官至秘书少监、申王师，因德行高尚受到时人推崇。
父亲：李孝节，官至谷州长史。兄弟：李元素，官至凤阁侍郎、同凤阁鸾台平章事。儿子：李思冲，官至左羽林将军，随李重俊诛杀武三思，失败被杀。儿子：李守一，官至郫县县令。