唐宪宗元和元年(806)，湜考中进士，历陆浑县尉、工部郎中、东都判官等职。他与李翱都是韩愈的学生，与韩处于师友之间。李翱发展了韩文平易的一面；皇甫湜则发展了韩文奇崛的一面。皇甫湜在阐述韩愈反对因袭、主张独创的理论时说：“夫意新则异于常，异于常则怪矣；词高则出于众，出于众则奇矣。”。三年，参加由皇帝亲自主持的贤良方正直言极谏科考试，与牛僧孺、李宗闵直陈时政得失，无所避忌，受考官赏识，被出为陆浑(今河南嵩县)县尉。此案还连累了湜的舅父翰林学士王涯，亦被贬为虢州司马。次年，湜迁殿中侍御史内供奉职。此间，湜与韩愈、李贺等人过从甚密。八年，湜回睦州故里。元和十二年(817)，皇甫湜被山南东道节度使李愬召为幕僚，赴襄阳任职，次年五月罢镇。至十五年，他困顿江陵府公安县。
唐朝人皇甫湜性格品貌倔强耿直，写的文章古拙高雅，而且性情高傲，秉性偏狭暴躁。皇甫湜在任工部郎中时，一次在酒桌上发脾气，跟同事争吵起来。待到醒酒后，自己觉得不好意思，请求到东都洛阳去任职。正赶上伊水、湜水泛滥，连年欠收，皇甫湜又很长时间滞留在那里不得升迁。薪俸特别低，生活非常困顿愁苦。一次，天降大雪，皇甫湜家门前连个脚印都没有，全家饿饭，厨房的烟囱都不冒烟。当时，晋国公裴度任东都留守，在洛阳施行保民安政的政治措施。用高度的赞美、优厚的待遇，聘请皇甫湜为留守府的幕僚。持甫湜简仆率直不拘礼仪，裴度对他也很优待宽容。早年，裴度讨伐淮西叛乱有功，皇上赏赐给他价值许多万钱的礼品，贮放在集贤里的宅院中。裴度信奉佛教，经常顾虑在征讨淮西叛军时杀人太多，会带来灾祸。
太平广记-之说皇甫湜《太平广记》中的一段，是写唐朝人皇甫湜的。文中说皇甫湜性格性情高傲，且偏狭暴躁，写的文章古拙高雅，别人都看不懂。曾在东都洛阳任小官，薪俸特别低，生活陷入困顿之中。当时，晋国公裴度任东都留守，高薪聘请皇甫湜为留守府的幕僚。早年，裴度讨伐淮西叛乱有功，皇上赏给他很多钱。裴度信奉佛教，他将这些钱财施舍给福先佛寺，让僧侣用这笔钱重修佛寺。重修后的福先佛寺，极为宏丽壮观。佛寺修好后，裴度要写信给白居易，请他写一篇碑文。当时，皇甫湜也在场。他指责裴度说：“我皇甫湜就在你身旁，你却写信请在远处的白居易给你写碑文。我的文章是阳春白雪，白居易的文章是下里巴人。你怎么容不下高雅之人？”裴度听了非但不生气，反而委婉地向皇甫湜表示歉意，说：“考虑您老是大手笔，怕遭到您的拒绝。