早年经历窦威年轻时性情沉静，器量不凡，而且博览群书。窦家世代勋贵，以武勇著称，子弟都喜爱武艺。窦威却偏好文史，因此被诸兄讥为书痴。入仕隋朝隋朝建立后，窦威得到内史令李德林的举荐，担任秘书郎。他在任期满后，仍然不肯调任，坚持留在秘书监，继续精研学问。当时，窦氏诸兄都因军功得授显职，对只任闲职的窦威非常轻视，对他道：“从前孔子积学成为圣人，仍是困顿失意，你又希求什么呢？”窦威笑而不答。后来，窦威被蜀王杨秀征辟为记室，因杨秀多行不法，便称病离职，返回乡里。仁寿二年（602年），杨秀因罪被废为庶人，王府属官大都获罪，只有窦威得以幸免。大业四年（608年），窦威升任内史舍人。他多次劝谏隋炀帝，结果违忤旨意，被调任考功郎中，后又坐事免职。
根据《新唐书·宰相世系表》记载，窦威的家族原为鲜卑纥豆陵氏，北魏孝文帝改革时迁居洛阳，改汉姓为窦。窦威之父窦炽，与兄长窦岳、窦善并称三祖，其族支被称为河南窦氏三祖房。河南窦氏三祖房（窦炽一支）窦炽（隋太傅，邓国公） 窦恭（北周雍州牧，鄼国公） 窦轨（益州都督，酇国公） 窦奉节（驸马都尉、黄国公）窦琮（晋州总管，谯国公）窦孝谦（洺州刺史）窦览窦孝仁（济州刺史）窦孝鼎（司勋郎中）窦深窦袭（右武卫将军） 窦文表窦嶷窦德宗
唐高祖曾对窦威道：“北周时有八柱国，我家与你家都曾位列其中。如今我是皇帝，而你却是宰相，这岂不是不平等吗？”窦威惶恐的道：“我窦家在汉朝时便是外戚，北魏之时又有三位皇后。如今陛下开国，臣又因姻戚的身份得到任用。臣日夜忧惧，惟恐不能胜任。”唐高祖大笑道：“您是在用三朝后族向我夸耀吗？关东之人与崔氏、卢氏结亲，便自鸣得意。您家世为帝室姻戚，不也很贵重吗？”