绍兴十年（1140）八月，四十九岁的张九成免去秘阁修撰贴职，谪知邵州（湖南邵阳）。宋廷屈辱求和，张九成是反对和议的代表人物，又寓居临安府畿县，朝廷有所忌惮，因此，御史中丞何铸等人便再诬以“九成矫伪之行，颇能欺俗”，用这种莫名其妙的借口，把他贬斥到更远的地方。几乎与此同时，尚书刑部员外郎凌景夏、秘书省正字樊光远等人也都从朝廷排挤出去，离开临安。次年初，张伸去世，张九成得以返回家乡，为父持服。守丧期间，他与径山寺僧宗杲（1089-1163）往来密切。张九成与宗杲，一儒一僧，在当时都享有盛誉，跟随他们相游的人很多，秦桧畏惧他们背后议论自己，便又故技重施，罗织罪名，说张九成与宗杲谤讪朝政，剥夺了宗杲僧籍，编置衡州（湖南衡阳），张九成则待三年丧满，于绍兴十三年令南安军（江西大余）居住。

当然，谪居穷处之际，张九成常常魂牵梦绕的还有千里之外的故乡，以及故乡的旧朋知友，正如他自己所说：“西湖多乐事，感慨旧山川。”看到大庾岭下池塘春水，绿柳成行，他就思绪万千，“恍如在故乡，西湖古寺里。气象极幽深，景物尽苍翠。十年劳梦想，一夕居眼底。独坐不能去，颓然起深思。”收到临安老友的诗词，他马上相和：“西湖十里山，春风一杯酒。兹兴良不浅，何日落吾手？我读君和诗，襟期一何厚。同生上下宇，共阅古今宙。死生何足云，余年付美酎……环顾天地间，四海惟三友。两老虽未死，二妙已先踣。生者岂其巧，死者亦非谬。君如悟斯契，万事可怀袖。铜钱自如山，金印自如斗。只今定何间，腐骨久巳朽。篱菊师渊明，庭草悲王胄。彼已升层霄，此犹凿户牖。浩歌君其聆，相看都皓首。”流落异乡多年，看年年冬去春来总相似，但镜中老人白发日增，“熟谙世味心如水，忽见吾人眼尚明。青镜不堪看白发，长镵何处觅黄精。只思归去西湖上，饱吃东坡玉糁羮。”在张九成对西湖的牵挂和咏叹之中，其实难掩自己寂寞不用的无奈。

张九成谪居南安十四年，直到绍兴二十六年（1156），即秦桧卒后第二年，他才恢复秘阁修撰，并起知温州（今属浙江）。那时候，张九成已届六十五岁，昔日意气风发的状元郎，在岁月蹉跎中垂垂老矣。

数月之后，六十八岁的张九成病逝于临安府盐官的家中，临死前数日，读江少虞所集《皇朝类苑》，仍不禁痛骂北宋奸臣丁谓误国，为之愤恨不已。张九成殁后，葬于盐官县净居院之侧。