天启七年（1627年），白胤谦中举人，崇祯十六年（1643年）中进士，选翰林院庶吉士。入清后授内秘书院检讨，历侍读学士。清朝顺治二年（1645年），改内翰林秘书院检讨，次年任顺天乡试副考官、会试同考官。顺治五年，任内翰林弘文院侍读。次年，任内翰林弘文院侍读学士。顺治十二年，任内翰林秘书院侍读学士、内翰林国史院学士、武会主考官、武殿试读卷官。顺治十三年（1656年）六月，擢升吏部侍郎，顺治十四年（1657年）四月，升刑部尚书。顺治皇帝亲政之后，为加强皇权，注重刑法，颁布《大清律》；但惩奸除恶，惯用重典，常常不以法律而加重治罪。白胤谦独认为：“开国规模，宜崇宏大，务以宽平佐圣治。”所以他凡事都小心谨慎，无论在公堂或是在私宅，律令之书未尝离手，大小案件都依法处置，不敢有丝毫失当。就在白胤谦升任刑部尚书不久，南北科场案发。北闱顺天乡试同考官李振邺、张我朴因受贿将考生王树德、陆庆曾等录取，被判处死刑立斩，没收家产，父母兄弟流放尚阳堡。南闱江南乡试虽然舆论大哗，但未确指行贿受贿人具体姓名。白胤谦认为案情尚未查实，人命关天，恐怕冤枉了无辜，有待进一步认真推究，方可决断。这时江南举子编撰了《万金记传奇》杂剧，揭露正副主考方猷、钱开宗受贿丑闻。传入禁中，顺治帝大怒，未经过法律程序，便下旨将方、钱二人处斩，家产妻子入官；其它考官及监场官十八人，除一人病死狱中外，均处死刑。白胤谦也因未能及时结案，受到降一级处分。顺治十六年（1659年）九月，苏松巡按王秉衡因贪赃罪被判处死刑，顺治帝下旨将其妻子儿女入官为奴。白胤谦认为根据《大清律》，此罪不应涉及妻子儿女，于是同三法司官员共议，免除了其妻子儿女之罪。顺治皇帝召白胤谦等官员廷对，厉声诘问再三，白胤谦皆援引律例正色以对，只自引罪，但仍坚持要依法裁处。此时，天威严重，廷臣被皇帝诘问者皆惶恐失措，不知所云，而白胤谦则从容不迫，据理侃侃而言，终于使顺治帝不得不服从于法律。但顺治帝年轻气盛，心中不悦，下旨将白胤谦降三级调用，补太常少卿。白胤谦认真考订祀典，议定雅乐，不以进退为意。不久升通政使，他又为冤民叩阍之事向皇帝力争，没有因为前事之故而少为退却。康熙皇帝登基之后，国家有许多大事要定夺，他多次奋颜谏议，必有利于国家人民而后已。康熙二年（1663年）五十九岁，染微疾，便遽求致仕。康熙十二年（1673年）卒，年六十九岁。

白胤谦又是著名的文学家和诗人，十四岁便开始作诗，少时所作不下数千百首，长益精进。一生好学不倦，以著书立言为千古事，“海内之文人后学，莫不以北斗仰之”⑶。白胤谦论诗，主张“神韵为上而格调次之”。在康熙年间王士禛“神韵说”理论还没有形成之前，他就强调“神韵为上”的观点，于清初诗歌理论的探索有开先河之功。其诗文著作有《澹宕斋集》《雪帆草》等，后精选诗文，辑为《东谷集》三十四卷；致仕后乡居诗文辑为《归庸斋集》四卷、《桑榆集》三卷。白胤谦与吴伟业、王铎、宋琬等人相交游，继承发扬了杜甫、白居易诗歌现实主义的创作风格，能够深刻地反映社会现实，以质朴无华而著称。如《湖南纪行五百字》，写出了湖南兵燹之后，到处可见“村屋尽毁余，蒿莱殖禽兽”的穷荒景象，表现了他对百姓困苦生活的同情和对太平美好生活的希冀。《役夫谣》写京畿一带人民的生活：“休言民力壮，民实备苦辛。有田被圈界，租税犹在身。荷锄入圈庄，慵作办岁缗。见充河堤卒，舍命赴洪津。”深刻揭露了清初满洲贵族圈地给老百姓带来的种种灾难，令人不忍卒读。在满洲贵族对汉民族疯狂镇压和蛮横圈地的顺治初期，白胤谦作为汉臣，敢于站出来写诗为民请命，其正义感和勇气不能不让人钦佩有加。《述乱》《渔阳估客行》《俸米叹》《冰车行》等纪实的诗篇，字里行间都可以看到当时民间的疾苦。虽然从整体来看，他作品于时政颂扬多而揭露少，但质干精神，不失自然之态，与那些只讲究辞藻华美而空洞无物的庸俗文章自有天壤之别。清儒评价说：“胤谦刻意讲学，故所作直抒胸臆，不以文字求工也。⑷”邓之诚先生谓其文“虽无文采，而不失雅正。明季乱历，清初掌故，皆探讨，是亦足以传矣”。