当初,来济和高智周、郝处俊、孙处约客居宣城石仲览家中,石仲览家境富裕,有器识,对待四人非常优厚。私下里和他们谈论志向,郝处俊说:“希望做到国家的宰相。”来济和高智周也是这样。孙处约说:“宰相或许不能希求,希望做到通事舍人就满意了。”后来来济领吏部,孙处约才以瀛州书佐调入朝廷,来济立即做注说“如志”,就使孙处约任通事舍人。后来都做到三公辅相。
先祖十九世祖:来歙,东汉名将。高祖:来成,北魏新野县侯,后降梁。父亲来护儿,隋朝名将。兄来楷、来弘、来整、来恒子来敬业,润州刺史。来庆远,中书舍人。
幼遭家难来济生于江都(今江苏省扬州市),祖籍南阳新野,东汉名将来歙十九世孙。高祖来成,北魏新野县侯,后降梁,迁居广陵,遂以此为家。父亲来护儿,隋朝名将,曾担任左骁卫大将军、左翊卫大将军、光禄大夫、开府仪同三司等职,封荣国公,恩礼隆密,朝臣无比。隋大业十四年(618年),右屯卫将军宇文化及发动政变,弑杀隋炀帝。来护儿不屈于叛军,被宇文化及杀害。同时遇害的还有来济的大哥来楷(时为散骑郎、朝散大夫),五哥来弘(时为果毅郎将、金紫光禄大夫),六哥来整(时为武贲郎将、右光禄大夫)。 只有来济和哥哥来恒因为太小没有被杀。来济家族遭难后,流离艰险,而笃志好学,有文词,善谈论,尤晓时务。唐朝时举进士。累官拜相贞观十七年(643年),唐太宗任命来济为通事舍人。