早期事迹岑羲年轻时考中进士，累迁至太常博士。691年（天授二年），宰相岑长倩被诬谋反，下狱而死。岑羲因是岑长倩的侄子，也受到牵连，贬为郴州司法参军。在担任金坛县令期间，岑羲因政绩突出，与弟弟长洲县令岑仲翔、溧水县令岑仲休并称江东三岑，受到宰相宗楚客的赞誉，又被江南道巡察御史荐为汜水县令。回朝任职704年（长安四年），武则天命宰相举荐官员。凤阁侍郎韦嗣立便推举岑羲，并道：“只可惜他被伯父岑长倩所连累。”武则天道：“只要他有才干，就不会受到连累。”于是任命岑羲为天官员外郎。此后，刘守悌、裴惓等受到亲属牵连的官员相继获得擢升。705年（神龙元年），唐中宗复位，岑羲被任命为中书舍人。不久，侍中敬晖打算上表朝廷，请求降封武氏诸王，请人起草奏疏。
岑羲拜相后，兄长岑献担任国子监司业，弟弟岑仲翔、岑仲休担任州刺史，岑氏兄弟子侄数十人都官居要职。岑羲感叹道：“物极必反，我得有所戒惧啊。”但却并未因此有所黜退。