刘渊称汉王，大概是太安四年六月的事情。
二月下旬时，他还留在邺城，亲眼见证了征北军司在邺城之战的惨败。眼见卢志大军在城南遭遇围歼之后，邺城之内顿时惶恐不已，而随着成都王司马颖的率先出逃，其余诸将也丧失勇气，犹如雪崩般逃离邺城。到了这时，谁也没有注意到，对刘渊长达近十年的监视，就这样悄无声息地结束了。
刘渊由此重获自由，他率平先等人趁乱逃出邺城，但却不是随大流向北逃，而是径直前往壶关。当时到处都是流民，脸上都带有凄惶之色，他们不知道未来将去往何处，也不知道当下该在哪里落脚，只知道过去的平淡时光一去不复返了，因此一路哭声不断。
而面对百姓的哭声，刘渊也难免受到感染，眼露悲戚，但胸中生出更多的，却又是雄心壮志。他对平先等人说道：“司马氏丧心病狂，自相残灭，天下黎庶何辜？竟陷苍生于苦海，焚九州至倾圮，殊为可恨！我生平饱读经史，兼修文武，有报国之心，而无用武之地。自以为将碌碌终老，一事无成。不料今又重获自由，天可怜见！我要终此乱世，扬德以怀！”
于是刘渊一行徒步穿过太行山，沿路混乱不已，多有艰难险阻，甚至不乏有马匪、流寇。纵使有平先护卫，刘渊也不得不小心翼翼。他惟恐有人识出自己的身份，再被晋朝官员发现，一路走最偏僻艰险的山路，差不多走了十四日，终于翻越重重群山，抵达了自己的故乡——离石。
等刘渊再返回到离石，向当地人禀明身份的时候。当地的匈奴部民几乎认不出，这位白发苍苍又风尘仆仆的老人，就是他们昔日最为敬爱的左贤王了。而等刘雄、刘聪等人前来验明身份，哭着向刘渊拜倒时，现场沉寂少许，随后爆发出惊天动地的欢呼声，呼声在离石山谷中回荡不止。
刘渊被匈奴人架着进入他昔日建立的左国城，一百二十七岁的刘宣拄着拐杖来见刘渊，刘宣慢悠悠地问他道：“元海，今日回家，是否安心啊？你已经年过五十，知天命了，可以在这里安心养老了。”刘渊则笑道：“四叔公，重耳六十方得继位，而后尊王攘夷，践土称盟，霸令诸侯，成就晋文之名。今日刘渊不过五十三，何足言老！”
他随即于左国城中召集族人，对他们说道：“今天意毁祸，晋不修德，恰如大厦将倾，洪流奔溃。以至天下豪杰并起，群雄争锋，虽名属晋室，实欲效仿曹操，先挟天子，后图社稷也。如此欺世盗名，岂英雄之举耶？大丈夫当挺三尺剑，解生民于倒悬，伐无道而兴义，终成不世之功
…。。