建炎四年(1130年)夏,待金兵撤离江南后,赵构才又重新回到绍兴府(今浙江绍兴)、临安府(今浙江杭州)等地,后来还将临安府定为南宋的行在。这时候,金兵才暂停南侵,赵构便想趁此机会,抽调一批精兵,想用他们来镇压荆湖、江西、福建等路的农民起义军和盗匪,以巩固自己的统治。面对形势多变、危机四伏、帝位不稳的局面,在防御金兵方面赵构也做了一些精密部署,他虽然任命岳飞、韩世忠、吴玠、刘光世、张俊等人分区负责江、淮防务,但只是把军事部署作为乞降的筹码,始终没有收复失地的打算。后来,他又把金国派到南宋进行诱降活动的秦桧予以重用,并任其为宰相,同秦桧加紧进行投降活动,开始竭力压制岳飞等将领的抗金要求。
绍兴二年(1132年),在温州漂泊了四个月以后,赵构意识到南宋的国力衰微,完全没有能力招架金兵的进攻。逼迫无奈之下,赵构只能各种逃命,最后又迁都杭州,这才暂时安定下来。南宋朝廷初步在东南站稳了脚跟,在赵构看来,或许几年后就可以与金军抗衡了。虽然在建炎的前三年,赵构一直被金军追杀,一路南逃,过着十分不安分的生活。但在建炎四年(1130年)七月的时候,韩世忠率领八千余人,成功围堵了金兀术的十万大军。正是那场黄天荡之战,大大挫伤了金军的士气,使其不敢贸然渡过长江。