流亡的犹大人的命运与以色列人有所不同。以色列入被亚述人掳去后，散居在古代西亚的各民族中间，逐渐被同化而消失了；犹大人被挟持到巴比伦，有比较集中的居住地，保持了自己的习俗和信仰，犹大人中具有强烈民族宗教感情的人渴望重归故土，重建家园。
机会终于来了，在东方的地平线上升起了一颗政治新星，他就是注定要建立庞大帝国的波斯古列大帝。那一年，古列终于打败了主要的对手新巴比伦王朝，占领了巴比伦，建立了波斯王朝。
波斯帝国远远大于亚述王朝和新巴比伦王朝，统治了东起印度河、西到地中海的广大地区。在这么广阔的幅员内，种族、宗教情况之复杂是可想而知的。古列大帝总结了亚述和新巴比伦的教训。他给被征服国民以自治，并把被掠到巴比伦的全部神像归还给他们；他允许那些被放逐的民族重返家园。
波斯古列元年，王下诏通令全国，“耶和华——天上的神已将天下万国赐给我，让我在犹大的耶路撒冷为他建造殿宇。你们之中是耶和华子民的，可以去耶路撒冷重建神殿。剩下的人要用金银财宝、牲畜来资助他们。”
犹大和便雅悯的族长，还有祭司利未人纷纷响应，决定动身去耶路撒冷。并非所有的人都愿意离开巴比伦。那些在巴比伦已经发迹、身居高位、缺乏虔诚的宗教感情的人，自然不愿意回到破落不堪的犹大去受苦。
但是，在重建耶和华圣殿这个问题上，人们都有一致的立场。穷人愿意出力，富人也纷纷拿出金银、牲畜和财物向耶和华圣殿献礼。人们捐集的金子61000克，银子5000弥拿，祭司礼服100件。古列王甚至把巴比伦王尼布甲尼撒从耶路撒冷掠夺来放在自己神庙里的器皿拿出来，如数归还给犹大的首领设巴萨，包括：金盘30个，银盘1000个，金碗30个，银碗410个，刀29把，其他器皿1000件。
这样，那些被掳到巴比伦的犹大人和他们的子孙42360人回到了耶路撒冷，他们还带回了仆婢7337名和男女歌者200名。他们有马736匹，骡子245匹，骆驼435只，驴6724匹。
他们推举所罗已伯和耶书亚为首领，带领他们回国。
7月，以色列人聚起来开始修筑神坛。匠人立神殿根基的时候，祭司们皆穿礼服吹号角，利未人敲鼓，齐声歌颂赞美耶和华。
耶路撒冷的百姓见神殿根基已经立定，大声欢呼。许多见过旧殿的祭司、利未人，族长和一些老年人亲眼又看到神殿重立，放声大哭。欢呼声和哭号声交织在一起，一直传到很远的地方。
犹大人和便雅悯人的敌人听说他们为耶和华重修殿宇的事，就找到所罗巴伯和以色列的族长们说：“请让我们也参加建造神殿吧，因为我们同你们一样敬神。自从亚述王带我们来到这块土地上，我们一直祭神。”
以色列拒绝了：“我们建造神殿跟你们没有关系。是波斯王古列让我们这样做的。”
于是他们恼羞成怒，想出种种计谋来破坏犹大人的计划。从古列年间到大利乌年间，北方各省的省长们，不断上本控告以色列人。波斯王亚达薛西年间，撒玛利亚省省长利宏奏本弹劾：
河西的臣民云云：
陛下应该知道，从陛下处回到我们这里的犹大人，已经在耶路撒冷重建反叛之城，筑立根基，建造城墙。现如今，陛下该知道，这民若建好城池，修好城墙，就不再会向陛下进贡、交课纳税，陛下会遭到很大的损失。臣等既吃皇粮，理当为帝国着想。因此特奏请陛下察看先朝记事，您会知道，这是一座反叛之城，从古至今常有悖逆之事发生，因此，这城才被拆毁。这城若再建造，城墙完工，河西之地吾王就无分了。望圣上明察。
亚达薛西大帝得奏，当即降旨给利宏：
愿你们平安云云：你们所上的本，已经明读在我面前。我已命人查考，得知此城古来果然背叛列王，其中常有反叛悖逆之事。你们要出告示命这民停工，使这城不得建造，等我降旨，再行处置。当谨慎行事，不可迟延，不得容害加重，使王受损。
利宏接旨，立即照办，赶到耶路撒冷，强令停工。
于是耶和华圣殿的工程就停止了，直到波斯王大利乌第二年。
大利乌年凤先知哈该和撒迦利亚，以耶和华的名义动员犹大人再次恢复重建工程。有人把这事报告给波斯的河西总督达乃和示他波斯乃。总督们派人来调查，问：“谁降旨让你们建造这殿，修成这墙呢？”
所罗巴伯和耶书亚机智地答道：“古列元年，先王古列大帝降旨，准予建造神的这殿，先王还归还了这殿的各样器皿。”
总督们听说是古列王的遗诏，没有叫他们停工。他们奏请大利乌王：
愿大利乌吾王陛下诸事平安：兹有这地的民动工修建这殿和这城，进展迅速。现在王若以为美，请查巴比伦王的府库，看古列先王降旨，允准在耶路撒冷建造神的殿没有，王的心意如何？请降旨晓谕我们。
于是，大利乌王降旨，寻查典籍库，从中查到文书一卷，其中记着：“古列元年，他降旨论及耶路撒冷神的殿，要建造这殿为献祭之处，坚立殿的根基。云云。”
于是，大利乌王下令：不得妨碍建造这城，并从府库拨出专款和建筑材料，发放献祭的牛羊。
经过4年的施工，到大利乌6年，圣殿终于建成，以色列的祭司和利未人，并其余被掳归回的人，都欢欢喜喜地举行圣殿的落成典礼，把数百头中羊作为燔祭。
耶路撒冷圣殿建成后若干年，波斯王亚达薛西二世登极。这时已比伦出了一个犹大学士以色列。他是大祭司亚伦的后代，精通摩西的律法书，曾作过以色列的祭司。他思念故国，向亚达薛西王上书，请求返回犹大。
国王允准一切所求，并赐结他许多金银、神殿中使用的器皿，让他带着1500多名自愿归国者回耶路撒冷。波斯王还降旨给河西省的一切库官，无论以色列向他要什么，都要速速备办：银子在100他连得以内，麦子在100柯珥以内，酒在100罢特以内，油在100罢恃以内，盐不计其数，都要拨给他。
并下令免去祭司、利未人、歌唱的、守门的和在神殿当差的人的赋税徭役。
以色列正月初一从巴比伦出发，五月初一到达耶路撒冷。回到耶路撒冷后，那里的情况令他深为不安：与外族通婚在犹大人中已经非常普遍，他们娶迦南人、赫人、比利洗人、耶布斯人、亚们人、摩押人、埃及人、亚摩利人的女子为妻，并且祭司和首领带头这样做。犹大人面临着被同化的威胁。
以色列撕裂衣服和外袍，散开头发和胡须，在耶和华面前静坐、祷告、认罪、哭泣，脸伏于地。许多青年男女也聚集在他身边，跟他一起认罪、悔过。他通知已返回故国的犹大人到耶路撒冷聚集，凡3日内不来的，就必抄他的家，把他从会众中开除。
9月20日那天，众民聚集在耶路撒冷神殿外的广场上。天下起了大雨，淋湿了每一个人，大家战战兢兢地听以色列说：“你们有罪了，因你们娶了外邦女子为妻，增添以色列人的罪恶。现在当向耶和华你们列祖的神认罪，遵循他的旨意，离绝这些国的民和列邦的女子。”
群众听完纷纷起誓：“我们必照您的话行事，离弃外族妻子！”
因以色列的这项命令，与自己的妻儿子女离散的犹大人有很多很多。
