先祖五世祖徐文整，梁云骑将军，阳平太守，慈源候。高祖徐综，陈稜威将军，始安太守，袭慈源候。驸马都尉，尚陈永嘉公主。曾祖徐方贵，陈奉朝请，江夏王侍郎，伏波将军，早卒。祖父徐孝德，隋唐两朝大臣，隋末任谒者台奉员外郎，唐朝时官至果州刺史。祖母姜氏，依唐制，因长女徐惠为太宗贤妃，封正四品金城郡君。父亲徐齐聃，“善制诰，为时所称” 唐高宗时累迁兰台舍人、蕲州司马。叔父徐齐庄，玄宗朝恩封长城县子。长姑徐惠，唐太宗徐贤妃，工于诗文。次姑徐氏，唐高宗徐婕妤，有文藻。妻室嫡妻岑氏，是岑羲之妹。儿子徐峤，字巨山。开元中为驾部员外郎、集贤院直学士，迁中书舍人、内供奉、河南尹。封慈源县公。父子相次为学士，三世为中书舍人。
出身世家据《旧唐书》记载：徐坚生于官宦世家，祖父徐孝德是隋唐两朝大臣，终官至果州刺史。徐坚之父徐齐聃，少善属文，唐高宗时累迁兰台舍人、蕲州司马。徐齐聃善于文诰，甚为当时所称。公元673年（唐咸亨四年）去世，卒年四十三岁。唐睿宗即位，追录旧恩，累赠徐齐聃礼部尚书。仕途通达徐坚，自幼聪慧好学，遍览经史，性格宽厚。中进士举，累授太学。圣历中，皇帝车驾在三阳宫，徐坚留守东都为判官。公元699年（圣历二年），徐坚与定王府曹刘知几、给事中徐彦伯、右补阙张说同修《三教珠英》。公元703年（长安三年）又与刘知几、吴兢等撰修唐史，成《唐书》八十卷。公元705年（神龙元年），柳冲上书，请改修《氏族志》。
好友张说唐时，张说和徐坚同在集贤院当学士十多年，两人爱好一致，感情相投。当时和他们共 事的学士们，已经衰落的很多，独有张、徐二人还留在集学院。张说把当年的学士名字都写出来，和徐坚一起观看。徐坚对张说问：“诸位当年都是各有专长，各领风骚啊，请问文章方面，谁先谁后？”张说答：“李峤、崔融、薛稷、宋之问的文章，都是良金美玉，无可挑剔。富嘉谟的文章，严峻峭拔，雄奇豪放，别具一格，他这种言论，若是用在议论朝政的地方，必然引起大乱子。阎朝隐的文章，浓妆艳抹，词藻华丽，轻歌曼舞，读后令读者愉悦，虽然有些风流儒雅，但是有点过于幽默诙谐。”徐坚又问：“现在的后起之秀，谁的文章好？”张说回答：“韩休的文章，有如美酒佳肴，词语典雅，但缺少韵味。许景先的文章，虽然肌肤丰满，华丽可爱，但缺少风骨。