他少年时客居历阳（今安徽和县含山一带），躬耕以养弟妹，当地乡人称其“敦睦”。十七岁时，出任豫州军府的官吏。孙谦是个孝子，后因父亲去世，辞去官职，回家守孝吊丧。独立挑起全家的生活重担，亲自躬耕收获，维持全家人的消乡，与邻里之间，往来密切，和睦相处。这对他后来数十年间官历南朝宋、齐、梁三朝的仕宦生涯，关心民生，清正廉洁的优良作风起了重要作用。
他在南朝宋孝武帝（454—464在位），曾任过几任地方小官，如句容（今江苏句容县）县令；南朝宋明帝在位时（465—472）称赞他“清慎强记”有冶干才能，升他明威将军、兼任巴东（今属湖北）与建平（四川巫山）太守。这里正是长江三峡地区，是蛮族聚居之地。蛮族依山傍谷，分成许多部落，大者数万家、小者上千户。过去朝廷都派强臣、驻扎军队，常常围剿他们，不仅向他们征服捐税而“徭役过重，蛮不甚命”，常常引起蛮族的武装反抗，刺杀朝廷官员。治理蛮族聚居之地，成为朝廷的难点。因此，朝廷往往派大军，进行高压统治。被派往的官员也提心吊胆自身的安全。故任命为二郡太守，给他一千武士跟随上任。而孙谦却上书说：“蛮族不宾，盖待之失节耳。何烦兵役，以为国费。”而固辞不受，轻松上任。孙谦至郡，以改前任旧风，“布恩惠之化，蛮獠怀之，竞饷金宝，威信大著。”在任三年，始终如一，不兴功，不扰民，郡内秩序井然。
齐高帝升他为宁朔将军，钱唐县令。《梁书》卷47《良吏》称赞他“治烦以简，狱无系囚。及去官，百姓以（孙）谦在职不受饷遗，追载缣帛（丝绸制品）以送之，（孙）谦却不受。每去官（离任），辄无私宅，常借官空车厩居焉。”
他升任江夏太守，由于朝政腐败，有人弹劾他在调职时未办好交接手续，被送入狱中数年。出狱后担任了没有实权的中散大夫。齐大臣萧鸾于延兴元年（494）废除齐海陵王自立为帝，称齐明帝。齐明帝在废海陵王之前，千方百计拉拢名臣孙谦作心腹，给他担任闲职卫尉。
南朝梁武帝代齐，孙谦于天监六年（507）升任辅国将军、零陵（今湖南零陵县）太守，当时年已八十，仍勤勉为政，削繁就简。“（孙）谦郡县，常勤劝课农桑、务尽地制，收入常多于邻境。”天监九年（510），以年老，被调回朝廷，任光禄大夫，位为列卿，是很高的荣誉。梁武帝称赞他勤政为民，为政清廉的品行。《梁书》卷47《良吏》载：“高祖（即梁武帝）嘉其清洁，甚礼异焉，每朝见，犹请剧职自效。高祖笑曰‘朕使卿智，不使卿力。’天监十四年（515），高祖诏曰：光禄大夫孙谦，清慎（清廉勤慎）有闻，白首不怠，高年旧齿，宜加优秩，可给亲信二十人，并给扶。”
总之，孙谦为官一生，官历南朝宋、齐、梁三朝。《梁书》本传总结评价说：“谦自少及老，历二县五郡，所在廉洁。居身俭素，床施遽除屏风，冬则常被莞席，夏日无帐，而夜卧未尝蚊蚋，人多异焉。年逾九十，强壮如五十。毎朝会，輙先众到公门。力于仁义，行过人甚远。” 此外，还补充一件照顾流浪者的善事：“有彭城刘融者，行乞疾笃无所归。友人舆送（孙）谦舍，谦开厅事以待之。及（刘）融死，以礼殡葬之。众咸服其行义。”
梁武帝天监十五年（516），孙谦“卒于官，时年九十二。”临终遗命诸子将其免冠下葬，以存俭率。
