金兵退走后，宗泽率领军队收复了开封，被高宗任命为东京留守。宗泽在开封加强防卫，安顿民众，使社会秩序迅速走向安定。于是上疏高宗，请求他返回开封，领导全国军民收复河北失地，这类奏疏前后多达二十余次。患上“恐金病”的高宗，唯恐再遭父兄被掳的命运，根本不听，而是派人向金人求和，表示愿意割让河北、河东、陕西给金人。黄潜善和汪伯彦也积极主张继续南逃，所以“每见泽奏疏，皆笑以为狂”。李纲为相尚不足八十天，也因为坚持抗金，不肯妥协而被罢去相位，于是黄、汪两人先后被任命为左、右相，完全控制了朝政。

建炎元年八月，高宗听说粘罕已还屯云中，斡离不也于不久前病死，金兵的威胁暂时解除。高宗为了维护帝王的一姓尊严，也为了杀鸡给猴看，他以前为讨好金人而对张邦昌所说的一大堆好话，已被完全作废，对张邦昌及“大楚”政权的官员，开始一一加以惩处。九月，张邦昌以“僭逆”罪被“赐死”。金人知道后，便以杀张邦昌为借口，再一次发动南侵。于是高宗匆忙于十月初一日离开应天府南逃，到达扬州后才安顿下来。

扬州虽比不上昔日的汴京，但也是一个繁华之地，高宗和黄、汪等人，以为此处已经远离金人，前面又有宗泽、韩世忠、张俊等军队守卫，不妨可以喘一口气了。于是他们有的去游山玩水，有的到寺院听和尚讲经，有的上青楼作乐。跟随高宗南逃的后宫一般人，也是恶习未除，大肆铺张。

但是好景不长，建炎三年（1129）正月，粘罕的军队以突然袭击的方式，先后攻陷青州（山东益都）、徐州（今属江苏）等地，接着在打败韩世忠、刘光世军队的抵抗后，侵入苏北，破楚州（江苏淮安）、天长军（安徽天长）。二月初，数百金人骑兵直接奔袭扬州，十万御敌宋军猝不及防，望风解体，而黄、汪等人探敌不明，还在做着与金人议和的美梦。

初三日，突然听说金兵将至，正在淫乐中的高宗闻讯大惊，在御营司都统制王渊和宦宫康履等五六个内侍的护卫下，慌忙披甲乘马出逃，幸亏他的骑术还算高明，竟一口气逃到了几十里外的瓜洲（在江苏扬州南长江边上），然后坐上小船南渡到镇江。这一惊可谓非动小可，不仅使高宗的恐金病更加严重，而且还使他患上了阳萎病，从此便失去了生育能力。

话说黄潜善、汪伯彦两人，上午在游瘦西湖，下午又到大明寺听一位高僧说经。正当此时，有人急报，金兵到了扬州，皇帝已经渡江，两人一听惊慌失措，急忙挥鞭南驰。扬州城里的百姓“争门而出，死者相枕藉，人无不怨愤”。原从扬州经运河抢运出来的物资，在江边堆积如小山一般，来不及搬运过江，全为金人所得。数个月前刚从汴京运来的太祖神主，也被丢得不知所终。“军民怨恨黄潜善刻骨”，这时，正好有司农卿黄锷渡江，士兵误以为是黄潜善，历数他误国害民之罪，黄锷连声说自己不是黄潜善，“首已断矣”。

高宗等人当晚坐小船渡过长江到达镇江。后来一些好事之徒，也可能是高宗自己，凭空杜撰了一个神话故事，说当年高宗在金兵的追击下，逃到长江边，可是那里竟空无一船，在这万分危急的时刻，来了一匹泥马，将他驮过江去。第二天，据说高宗在镇江的一座庙内，还见到有一匹全身湿漉漉的泥马，与昨天驮他过江的泥马一模一样。于是民间就有了所谓“泥马渡康王”的传说。不过，此时的赵构，已是皇帝，不是康王，为了自圆其说，有人就将时间提前，说这是他做康王时，第一次出使金营的事。

次日，听说金兵已追到瓜洲，赵构一行立即逃往丹阳（今属江苏），经常州（今属江苏）、平江府（江苏苏州），二月十一日到达秀州（浙江嘉兴）崇德县（浙江桐乡崇德镇），进入杭州地界。然后，由余杭来到西溪湿地。

在西溪湿地，高宗看到这里大小湖泊星罗棋布，湖水清澈，可以见到无数鱼儿在水草间巡游觅食。成群的鸭子在水面游弋，不时发出嘎、嘎的叫声。岸边芳草萋萋，垂柳依依，垂柳旁边不时散布着一些简朴的田舍，炊烟的香味正从那里飘来。这正是早春二月的天气，桃、李含苞欲放，鸟儿在枝头婉转歌唱，四周草木葱茏，此时此地，简直像进入桃花源一般。

远处传来一阵阵欢笑声，打破了静谧的环境。原来是高宗的心腹宦官蓝珪和曾择带着一批小宦官，站在一个池塘四周射鸭取乐。塘内十余只中箭的鸭子，痛苦地在水面上挣扎悲鸣，一股股鸭血不断涌出，将塘水染成了红色。

一只满载鱼虾的小船刚靠近河埠，突然涌上来一大批士兵，渔民望见这些不知从哪里冒出来的不索之客，脸上露出了惊恐的神色。高宗远远望见，立刻命康履赶走士兵，将整船的鱼虾买了下来。傍晚时分，太阳慢慢地坠入树林，高宗和随行官员、士兵，就在湿地上打灶做饭。高宗一边吃着鲜美无比的鱼虾，一边看着这太平祥和的景色，不觉心旷神怡，暂时忘却了十余天来颠沛流离的困顿和疲劳。于是下诏，在西溪再住上一天。

十三日中午，高宗吃完午饭，踱步田间，看到前面有人在耕田，前面两个只有十一二岁模样的少年，弓着背，牵着犁耙异常吃力地前行，后面一人看上去好像是他们的父亲，把着犁耙扶手，用尽全力踏着犁头前进。父子三人汗水不断地从脸颊上流下来，看上去十分疲惫，此时此景，给高宗留下了深刻的印象。他命内侍去问，为什么不用牛耕？内侍回来告诉他，买一头耕牛不仅很贵，而且还要交上一笔重税，实在买不起，只得用人力来代替了。正当此时。康履轻轻地走过来提醒道：“陛下，队伍已经准备出发了，今晚我们还要赶到杭州呢。”可是高宗没有理会，他又远远地环顾四周，自言自语地说：“此地且留下。”这句话是什么意思？是他暂时不想离开这方土地？还是对这片西溪湿地以后另有打算？后人就颇费猜测了。不过，从此以后，这里就有了“留下”的地名，那倒是真的。

十三日傍晚，高宗进入杭州城，以凤凰山麓原来北宋杭州的州治为行宫，以附近的显宁寺为尚书省。参知政事叶梦看到高宗迟迟不进卧室休息，便解释说，：“州治屋宇不多，所以皇上的住所如此隘窄，加上江南多春雨，非汴京可比，陛下只能将就一下了。”此时的高宗，不知是良心发现，还是玩弄权术，看到数百官员和几万士兵，为了保卫他的安全和南宋国家，一路上风餐露宿，竭尽困顿劳苦，死于道路者也不计其数，便回答道：“朕并不觉得住所狭窄，只是有点潮湿吧了。自过江以来，百官、六军都无住处，朕何敢独求安逸?等将士官属各得所居，朕再入正寝不迟。”第二天早朝，群臣追究扬州大溃败的责任，高宗被迫罢去黄潜善、汪伯彦两人的相位。

高宗虽然又渡过了一个难关。可是一波未平，一波又起，这次是统治集团内部出了问题。

三月初五日清晨，御营司统制官苗傅和刘正彦率领一批士兵，突然冲进高宗寓所，后面紧跟着一个士兵，手中还提着一颗鲜血淋淋的人头。被五花大绑绑着的康履，连声呼喊：“陛下救命、陛下救命啊！”高宗看到这副景象，大惊失色，一时不知所措。苗傅指着高宗的鼻子诉说道：“我们俩人，先后护送太后和皇太子、六宫到杭州，沿途辛苦不说，为了替皇上扫除沿途障碍，又牺牲了我多少士兵的性命，可是皇上却一无奖励。反之，这次扬州大溃败，身为御营司统帅的王渊，负有不可推卸的责任，他不仅没有被贬官，反而提升为同签书枢密院事。作为一个皇帝，赏罚竟如此颠倒，何以服众？”他指着那颗人头说：“现在我们顺应军民之心，已将王渊处死了。”刘正彦接着说：“你像道君皇帝一样，重用身边宦官，他们倚仗你的宠信，作威作福，凌侮将帅，今天非要将他们全部收拾掉不可。”

刘正彦说完，立即命令手下捕捉行宫里面的所有宦官。一会儿，有士兵前来报告说，宦官已一个个脱下外衣逃散了，很难识别谁是宦官。刘正彦告诉他们：“凡无须者尽杀之。”于是康履、郑择等一百多人皆被杀，只有蓝珪，因为他平时与苗、刘关系尚好，才被留下一条性命，流放了事。

面对兵变将领的要求，高宗被迫退位，出居显忠寺，将帝位传给只有三岁的皇太子赵旉，请隆祐太后垂帘听政，并改年号为“明受”。

善于隐忍不发，到时秋后算账，是赵构性格中的一大特点，也是他多次取得“成功”的一个秘诀。对待张邦昌是如此，对待苗、刘兵变，同样也是这样。所以在兵变过程中，他对苗、刘提出的一切要求，都无条件加以接受，决不讨价还价。当然，在背地里，高宗通过右相朱胜非，命知江宁府吕颐浩和在平江府的礼部侍郎张浚，火速调动南宋各路军马，前往杭州“救驾”。

苗、刘兵变历时近一个月，最后为韩世忠、张俊、刘光世所率领的军队所镇压。后来，逃出杭城的刘正彦和苗傅，相继在建州（福建建瓯）被捕。七月，二人被押解到行在处死。

建炎三年五月，高宗获知“金人军马归回，已离扬州”的消息，为取得民心，装出一副要“经理中原”的样子，由杭州移跸江宁府，改江宁府为建康府。实际上，他仍不断遣人向金人求和。七月十五日，下诏升杭州为临安府，充分表明了他对杭州的情有独钟，在他心目中，大概已经决定要将杭州作为都城了。同时，为了掩盖自己的无能，以苗、刘兵变期间，“当轴大臣不能身卫社稷”的理由，罢去朱胜非的相位，以吕颐浩代替。

对高宗而言，建炎三年肯定是流年不利的一年。当年七月十一日，皇太子赵旉病死，高宗从此断绝了子嗣。七月末，金以大将兀术（一名完颜宗弼）为统帅，分兵四路南侵，目标是擒拿高宗，彻底摧毁南宋政权。另一方面，收降原南宋知济南府刘豫，让他出任金人卵翼下的京东西、淮南安抚使，到第二年七月，又扶持他为“大齐”皇帝，在中原地区建立起又一个傀儡政权，作为金人的帮凶。

在金兵的威胁下，高宗急忙逃离建康府南下。建炎二年七月，东京留守宗泽去世，继任者为杜充。此人胆小如鼠，建炎三年五月，金人还没有到达，他就拔脚逃往建康府。就是这样一个窝囊货，竟被高宗除为右相，负责长江防线。建炎三年十月，金兵分东、西两路南下。一路金兵由黄州（湖北黄冈）渡江入江西，追击隆祐太后；一路金兵由兀术亲自率领，自和州（安徽和县）渡江，入侵镇江、建康，直指高宗统治集团。高宗急忙离开临安府，渡过钱塘江到越州（浙江绍兴）。兀术渡江后，杜充不作抵抗，就带残兵逃跑（次年二月投降了金人）。高宗听说建康失守，再从越州逃明州（浙江宁波）。金兵渡过钱塘江，高宗慌忙坐楼船逃往定海县（浙江镇海），在那里渡海到昌国县（浙江舟山），继续浮海南逃。建炎四年二月二十一日，到了温州（今属浙江）江心寺。金兵一路追来，破越州、明州、定海、昌国，下海追赶数百里，被南宋水军打败后，才被迫退回明州。孤军深入的兀术军队，既在江南受到部分宋军的有力抵抗，天气也已转热，只得鸣金收兵。金兵自明州由原路北返，一路上放火烧城，大肆杀人掳掠不止。到临安，“遂纵火，三日夜烟焰不绝”。到平江，“卥掠金帛子女既尽，乃纵火燔城，烟焰见百余里，火五日乃灭”，给两浙百姓带来了巨大的灾难。

兀术撤退时，因掳掠到的物资太多，陆上运输不方便，便走运河水道。结果，金人船队先在太湖边遭到南宋水军的邀击，“几获兀术”。接着，在镇江东面的长江上受到韩世忠军队的伏击，将金兵逼进建康东北七十里的黄天荡。双方相持二十余日，“兀术穷蹙，祈请甚哀”。后来金人开凿了一条入江通道，才侥幸得以脱逃。韩世忠领导的这次镇江---建康之战，以八千士兵包围十万金军，时间长达四十余天，这是南宋建立以来，政府军给金兵的第一次沉重打击，意义十分重大，使金兵从此不敢再渡江。

金兵北撤后，惊魂甫定的高宗，于建炎四年（1130）三月十九离开温州，从海道返回明州，四月十二日进驻越州。次年四月，一生坎坷的隆祐太后病故，为她以后有机会归葬北宋巩县陵园之便，从简安葬于会稽县的上皇山，并将这种陵寝称作“攒宫”。隆祐太后的陵墓及有关制度，开创了后来南宋帝王以上皇山为攒宫的先河，此后，高、孝、光、宁、理、度六帝的陵墓都建在这里，史称“宋六陵”。十月，高宗下诏升越州为绍兴府。高宗从自己的安全考虑，确实也有将都城建于绍兴的打算。可是由于此地位置较偏，物资供应有困难，所以后来就打消了这个想法。

高宗在绍兴府驻跸近二年后，绍兴二年（1132）正月十四日，在张俊等人的扈卫下，坐船沿着浙东运河，经钱清镇、萧山县，来到临安府。绍兴八年，正式宣布临安府为行在所，也就是事实上的南宋都城。从此以后，改变了过去十几年间“帝被贼驱”狼狈局面，使政治、经济、文化等各个方面都走上了正轨的道路。

可能有人会问：高宗为什么要把杭州作为都城呢？这实在是因为得天时、地理、人和所致。

第一，杭州有地理上的优势。这座城市的东南部，面临钱塘江，宛如一道不设防的城墙。西北部，地处浙西水网地带，那里纵横交错的江河湖泊，有利于舟楫通航，不利于骑兵驰骋，与建康相比，有所谓“重江之险”，从而大大地增加了高宗的安全感。上次兀术领兵大举南下，高宗能有惊无险地逃往温州，就是一个证明。

第二，杭州有经济上的优势。这座城市地处杭嘉湖平原和宁绍平原两大鱼米之乡的连接点，又傍靠天目山余脉。四周盛产粮食、水产，蚕桑，又有竹木、山货之利。浙东运河将它与明州港紧密地联系在一起，与海外通商也比较便利。丰富的物资供应，可以满足南宋朝廷的各种需要。

第三，杭州自五代吴越建国以来，中经北宋一朝，历二百余年的和平发展，经济富庶，文化繁荣，环境优美，名人辈出，使它一跃而成为“东南第一州”，市民的国家意识和文化素养也比他郡为高。杭州还有风景秀丽的西湖，对南宋统治集团和文人士大夫而言，也极具吸引力。据说，当初居无定所的高宗，一到杭州，看到这里的“湖山之胜”，不禁叹道：“吾舍是何适？”说明他早在建炎三年二月初第一次到杭州的时候，就从心底里爱上了她，并有了建都于杭州的打算。