建炎四年（1130年）夏，待金兵撤离江南后，赵构才又重新回到绍兴府（今浙江绍兴）、临安府（今浙江杭州）等地，后来还将临安府定为南宋的行在。这时候，金兵才暂停南侵，赵构便想趁此机会，抽调一批精兵，想用他们来镇压荆湖、江西、福建等路的农民起义军和盗匪，以巩固自己的统治。面对形势多变、危机四伏、帝位不稳的局面，在防御金兵方面赵构也做了一些精密部署，他虽然任命岳飞、韩世忠、吴玠、刘光世、张俊等人分区负责江、淮防务，但只是把军事部署作为乞降的筹码，始终没有收复失地的打算。后来，他又把金国派到南宋进行诱降活动的秦桧予以重用，并任其为宰相，同秦桧加紧进行投降活动，开始竭力压制岳飞等将领的抗金要求。
绍兴二年（1132年），在温州漂泊了四个月以后，赵构意识到南宋的国力衰微，完全没有能力招架金兵的进攻。逼迫无奈之下，赵构只能各种逃命，最后又迁都杭州，这才暂时安定下来。南宋朝廷初步在东南站稳了脚跟，在赵构看来，或许几年后就可以与金军抗衡了。虽然在建炎的前三年，赵构一直被金军追杀，一路南逃，过着十分不安分的生活。但在建炎四年（1130年）七月的时候，韩世忠率领八千余人，成功围堵了金兀术的十万大军。正是那场黄天荡之战，大大挫伤了金军的士气，使其不敢贸然渡过长江。
