早年经历张纮年轻时游学京都，曾曾跟博士韩宗学习易经和欧阳尚书，又到外黄跟濮阳闿学习韩诗、礼记和左氏春秋，后回到本郡，被荐举为茂才，当时大将军何进、太尉朱俊、司空荀爽辟他为掾，他都拒绝应召，避乱来到江东。孙策创建基业时，张纮便投靠了孙策。孙策上表任他为正议校尉，后跟随孙策征伐丹杨。孙策亲临战斗前线，张纮劝谏说：“主将是筹谋划策的角色，三军命运全依托于他，不可轻率行动，亲身与区区小寇对阵相斗。希望您能珍重上天授予您的才干，符合天下的愿望，不要让全国上下为您的安危而担心受吓。”

文理意正公元199年（建安四年），孙策派遣张纮奉献奏章到许昌，被留在那里担任侍御史。少府孔融等都和他亲近友善。曹操听说孙策去世，打算趁东吴举丧期间进行征伐，张纮对他进行劝谏，认为乘人丧事而用兵，既有违传统的道义，如果攻而不胜，还会使两方结仇而丢弃往日盟好，不如借此机会厚待东吴。曹操听取了他的意见，当即上表任孙权为讨虏将军，兼会稽太守。曹操想让张纮劝引孙权归降，外任张纮为会稽东部都尉。陈琳著有《武库赋》，张纮读后写信称赞陈琳的文才。陈琳却说与张纮及张昭两人相比，是小巫见大巫。孙权对群臣大多直接称呼其字，唯独称呼张昭为张公，称张纮为东部，可见孙权对二人的器重。

共施经略公元208年（建安十三年），孙权任命张纮为长史，随军征讨合肥。孙权率领轻骑准备亲自前往突击敌人，张纮劝谏说：“兵器即是凶器，战争即是凶险。现在您依恃旺盛雄壮的气势，轻视强大凶暴的敌人，三军将士，无不寒心，虽说斩敌将夺敌旗，威震敌军，但这只是偏将的责任，而不是主帅所干的事情。希望您抑制住孟贲、夏育那样的勇猛鲁莽，胸怀成为王霸的大计。”孙权接受了他的建议而放弃了行动。回师后，第二年孙权准备再次出兵，张纮又劝谏说：“自古以来帝王是承受天命的君主，虽有皇灵辅佑在上，文德传扬于下，也要依靠武功来昭其勋绩。然而武功贵在因时而取，然后才建树威势。如今您正遭遇汉家四百年未有之厄运，有扶助危难之功业，理当暂且隐伏偃息军队，广泛开垦农耕，任贤使能，务须崇尚宽和仁惠政策，顺应天命来施行诛讨，这样就可以不劳师动众而天下平定。”于是孙权便停止了军事行动。

临终嘱咐张纮建议应当离开吴郡移都秣陵，孙权依从其说。孙权让张纮回吴郡接来家眷，走在半路上张纮病逝。临死前，他授意儿子张靖给孙权留下书笺说：“自古以来有国有家之人，都想修治德政来兴隆盛世，至于他们的治理，大多没有理想的结果。并非没有忠臣良将相辅佐，不是不明白治国的根本，而是由于君主不能克服自己的好恶情感，不善于听取意见。人之常情是畏难趋易，喜好相同的意见而讨厌不同的意见，这与治世法则正好相反。《易传》有言‘从善如登山，学坏如崩山’，是说学好不容易。君主继承数代相传的基业，凭借自然的趋势，掌握着驾御群臣的八柄权威，乐于做好做的事、听好听的话，无须向他人索求什么，而忠臣心怀难于进用的治国之术，说出逆耳的忠言，两者不能相互合意，不也是理所当然吗？不合就会产生隔阂，巧言令色之人便乘虚而入，君主就会被假忠迷惑眼睛，贪恋小人的恩爱，于是贤愚混杂，长幼失序，这些情况产生的原因，是人情关系扰乱了正常的统治秩序。故此圣明的君主醒悟到这一点，如饥似渴地寻求贤才，不厌其烦地接受忠谏，克制感情、减抑情欲，为了道义而割舍恩爱，在上者无偏颇错误的任命，在下者也就绝了非分之念。您应当加以三思，忍受辱垢、掩藏锋芒，以成就仁义泽被天下的大业。”张纮卒年六十。孙权看了他的遗书涕泣交流。张纮著有诗赋铭诔十多篇。