若大王守藩端拱，无所用之；必欲经营四方，非此人莫可。”太宗大惊曰：“尔不言，几失此人矣！”遂奏为府属。后从征薛仁杲、刘武周、王世充、窦建德，尝参谋帷幄。时军国多事，剖断如流，深为时辈所服。累迁陕东道大行台司勋郎中，封建平县男，食邑三百户。寻以本官兼文学馆学士。天策府建，以为从事中郎，画象于丹青者十有八人，而如晦为冠首，令文学褚亮为之赞曰：“建平文雅，休有烈光。怀忠履义，身立名扬。”其见重如此。隐太子深忌之，谓齐王元吉曰：
“秦王府中所可惮者，唯杜如晦与房玄龄耳。”因谮之于高祖，乃与玄龄同被斥逐。后又潜入画策，及事捷，与房玄龄功等，擢拜太子左庶子，俄迁兵部尚书，进封蔡国公，赐实封千三百户。贞观二年，以本官检校侍中，摄吏部尚书，仍总监东宫兵马事，号为称职。三年，代长孙无忌为尚书右仆射，仍知选事，与房玄龄共掌朝政。至于台阁规模及典章人物，皆二人所定，甚获当代之誉，谈良相者，至今称房、杜焉。如晦以高孝基有知人之鉴，为其树神道碑以纪其德。其年冬，遇疾，表请解职，许之，禄赐特依旧。太宗深忧其疾，频遣使存问，名医上药，相望于道。四年，疾笃，令皇太子就第临问，上亲幸其宅，抚之流涕，赐物千段；及其未终，见子拜官，遂超迁其子左千牛构为尚舍奉御。寻薨，年四十六。太宗哭之甚恸，废朝三日，赠司空，徙封莱国公，谥曰成。太宗手诏著作郎虞世南曰：