西晋灭亡后，司马睿（历史上所称的晋元帝）在建康建立东晋政权，北方陷入了各族统治者的混战中。北方各族统治者非常残暴，他们任意烧杀掳掠，北方生产遭到严重破坏。人民不断地起来反抗，他们到处建立坞堡，夺取城镇，在反抗统治阶级的斗争中，汉族人民和各族人民的命运密切结合起来了。
祖逖（tì）是这一时期的一位英雄，他是范阳遒县（今河北涞水）人，和刘琨是很好的朋友。他们俩在青年时代就很有抱负。每当他们谈论到天下大势、讨论起当时的政局时，总是慷慨激昂，义愤满怀。有时，在半夜里，他们听到鸡叫，就披衣起床，拔剑起舞，来磨砺自己的意志，锻炼自己的身体。祖逖眼看到晋朝统治者相互争战，把中原闹得乌烟瘴气，心中非常难过。他对刘琨说：“万一天下大乱，豪杰并起，我们决不能总待在中原，没有作为啊！”
匈奴贵族刘渊起兵以后，中原陷入了非常混乱的状态。祖逖率领亲族和部属、家人南下，后来到达了京口（今江苏镇江市）。
那时，东晋王朝中以晋元帝为首的统治集团，只把目光集中在巩固江南的统治上，从来不想改革政治，也从来不做北伐的准备。谁主张北伐，谁就受到排斥和打击。大臣周嵩劝晋元帝整顿军事，加强武备，收复中原后再称皇帝，几乎被晋元帝杀死。祖逖要求晋元帝允许他带兵北伐，说：“各族统治者趁晋朝皇族自相残杀，兴兵扰乱中原，人民遭受残害。如果让我带兵北伐，必定会得到天下的响应。”晋元帝不好直接拒绝他，但只给了他一个豫州刺史的空头衔，一千人的食粮和三千匹布，要他自己去招募军队和制造兵器。在这样艰困的情况下，祖逖丝毫不灰心，他带领随从他的一百多人渡江到北岸去。当船到江中时，他取楫（船桨）击水，当众起誓说：“我祖逖不能肃清中原，决不回头！”态度坚定，声音激昂，和他一同渡江的人都非常感动。他到北方后，不久就组成了一支两千多人的队伍。祖逖的军队既缺乏粮食，又受到敌人的袭击，处境非常困难。可是人民支持他，给他送粮送信，欢迎北伐军就像欢迎自己的亲人。祖逖没有一刻忘记过渡江击楫的誓言，他紧紧地依靠人民，和敌人展开了不屈的斗争。317年，他带领大军在谯城（今安徽亳州）打败石勒的军队。三年以后，收复了黄河以南的大部分地区。他团结人民，保卫收复的土地，得到了人民真诚而热烈的拥护。他继续练兵，准备向黄河以北推进。
但是，他的胜利引起了东晋政府的敌视。东晋政府不仅不支持他，还派人监视他。他看见东晋君臣只是争权夺利，晋元帝只想做一个偏安江南的皇帝，权臣王导只想建立一个王氏当权的小朝廷，尤其是权臣王敦非常专横，还准备发动叛乱，知道收复全部失地已经没有希望，他感到愤恨，感到痛苦。321年，他在忧愤中病死。收复的失地，很快又被石勒完全占领。他的死，引起了人们极大的悲痛，人们到处修祠纪念他。据史书上说，豫州地方的人民听到他逝世的消息，都不禁痛哭流涕。
