دعا أبو بكر الصديق عمر بن الخطاب رضي الله عنهما فعهد إليه وأوصاه باستكمال الفتوح، وذكره بما يجب على ولي أمر المسلمين من تحري الحق، وبأن الله ذكر آية الرحمة مع آية العذاب ليكون العبد راهبًا، فلما فرغ من وصيته خرج عمر من عنده، وهو يفكر في هذا المر الذي ألقي على عاتقه، فود لو أن أبا بكر برئ من مرضه ليواجه موقفًا دقيقًا. دُعي عمر بن الخطاب "خليفة أبي بكر الصديق"، أو "خليفة رسول الله"، ولما آنس المسلمون في اللقب طولًا، سموه "الخليفة" على إطلاقه، وأمسى هذا لقبا لرئيس دولة الإسلام، ثم أضافوا إلى عمر لقبًا جديدًا يتماشى مع حركة الفتوح هو لقب "أمير المؤمنين"، وهو أول من تسمى به. دعوة المسلمين إلى الجهاد حتى وفاة أبي بكر جرت في سواد العراق غارات ومناوشات عديدة بين المسلمين وبين الفرس ومن ساندهم من العرب المتنصرة القاطنين هناك، لكن هؤلاء عجزوا عن وقف هجمات المسلمين كما كان عليه الحال مثلًا في معركة عين التمر، وكانت الفرق الإسلامية تجوب أراضي السواد مغيرة على هذه القرية أو تلك، لكن في المدة بين رحيل خالد بن الوليد ووفاة أبي بكر، لم تحدث إلا اصطدامات محدودة، بفعل أن جيش العراق ضعف بغياب خالد، وبخاصة أنه فصل معه أكثر من نصف القوات، وانهمك الفرس في المقابل في الصراعات الداخلية، والتنافس على الحكم، مما أدى إلى ركود الجبهة العراقية، واضطر المثنى بن حارثة على الرغم من براعته القتالية أن ينكفئ إلى الحيرة وتحصن بها، إلا أنه احتفظ بكل ما غنمه المسلمون من سواد العراق. صحيح أنه انتصر على جيش فارسي في بابل، وجهه شهربراز بن أردشير بقيادة هرمز جاذويه في "أواخر ربيع الأول 13ه/ أواخر مايو 634م"، إلا أنه تحصن بعد انتصاره في مواقعه الأولى خشية أن يباغت مدركًا في أنه لن يستطيع التقدم، وإن استطاع المقاومة، بل تصبح المقاومة مستحيلة إذا تكتل الفرس والعرب الموالون لهم مرة أخرى، فضلًا عن أنه لا يستطيع أن يحتفظ بالإنجازات المحققة، فكيف إذا قرر التقدم، لذلك كان لا بد من تعزيز القوة الإسلامية الموجودة تحت تصرفه، فغادر العراق إلى المدينة ليبحث مع أبي بكر في الوضع الميداني على الجبهة العراقية، ويقدم له مشروعًا جديدًا للتعبئة العامة من واقع تجنيد من ظهرت توبته من أهل الردة، وعندما وصل إليها وجد أبا بكر مريضًا، ولما أفضى إليه ما جاء من أجله، استدعى عمر وأوصاه بندب الناس مع المثنى إذا توفي. وما كاد عمر يفرغ من دفن أبي بكر بعد وفاته حتى دعا الناس إلى التطوع لحرب الفرس مع المثنى، وركز على تعبئة المسلمين على الجبهة العراقية، وأدى المثنى دورًا بارزًا في ذلك حين اجتمع به، وشرح له الوضع الداخلي المتدهور للفرس، وشجعه على إرسال المسلمين لتكثيف حملاتهم على أراضي السواد، إذ لا بقاء لهم في العراق إذ لم تعزز قواتهم هناك بمدد قوي. أحجم معظم المسلمين عن الاستجابة لنداء عمر، إذ كانت العرب تهاب الفرس، وتخاف الخروج لقتالهم، وذلك بفعل هيبتهم، وسطوتهم وشدة بأسهم في القتال، والواقع أن حدود فارس تبدو صعبة في نظر العرب، وخطرة ورهيبة في أعينهم، كما كانت تثير كثيرًا من الاحترام في قلوبهم، ويتجنبون تجاوزها خشية من ملوك الفرس لاعتقادهم بأنهم على قدر من القوة يكفل لهم إدخال شعوب سائر الدول تحت سلطانهم، لكن المثنى استدرك الموقف، وشرح للمسلمين حقيقة الوضع الفارسي المنهار. أدرك عمر من واقع الوضع الميداني عظم المهمة، ورأى في المقابل ضآلة حجم الاستجابة، فلا بد إذن من إشراك كافة المسلمين، ودفعهم لمواجهة رد الفعل الفارسي، إنه استوعب العلاقة العضوية المباشرة بين إمكان توحيد جميع القبائل العربية الإسلامية، وإنهاء التصدعات الموجودة بينها، وبين التنظيم الواسع لحملات الفتوح، لهذا كان أول إجراء سياسي اتخذه هو رفع هذا الحاجز بين القبائل التي استمرت على إسلامها بعد وفاة النبي صلى الله عليه وسلم وبين القبائل التي ارتدت، فدعا من كان قد ارتد وحسن إسلامه للاشتراك في الفتوح، وقد أحدثت هذه الانعطافة تطورات جوهرية، وفتحت آفاقًا واسعة وجديدة لحركة الفتوح القائمة على أراضي دولتي الفرس وبيزنطية، الأمر الذي أسفر في وقت قصير جدًا عن تغيير طابع هذه الحملات تغييرًا كليًا. كان صدى دعوة عمر عند قبائل الردة من نوع آخر تمامًا قياسًا بقبائل المدينة، فقد استجابت هذه القبائل لدعوة الخليفة، وكأنها كانت تنتظرها، وسارعت بإرسال جموعها إليه لتلبية هذا النداء الذي طال ترقبها له. وهكذا رفع الحاجز بين المدينة وبين قبائل الردة، وأخذت هذه تتدفق على المدينة بتسارع مذهل طالبة الاشتراك في الفتوح، مثل بجيلة بقيادة جرير بن عبد الله البجلي. اختار عمر أبا عبيد بن مسعود الثقفي قائدًا للجيش؛ لأنه أول من لبى النداء، متجاوزًا المثنى الذي أرسله إلى العراق على عجل لتهيئة الأجواء، واستنفار من حسن إسلامه من أهل الردة، وأوصاه بالحذر، والتيقظ واستشارة أصحاب النبي صلى الله عليه وسلم، وبعدم التسرع في الحرب. الوضع الداخلي في فارس سادت البلاد الفارسي آنذاك جو من الاضطراب بسبب الصراع على العرش، وتهاوى عدة ملوك في تسارع مستمر وفي مدة زمنية قياسية، ففقد الفرس بذلك فرصة استغلال الموقف الناجم عن مغادرة خالد العراق، ورحيل المثنى إلى المدينة لاستعادة الأراضي التي خسروها أمام المسلمين، وطرد هؤلاء من العراق. أثارت أحداث فارس بوران بنت كسرى أبرويز التي اعتلت العرش الفارسي بمساعدة القائم رستم حاكم خراسان، ثم رأت في شخصه القائد الذي ينقذ فارس من كبوتها من التردي الداخلي، والتقهقر العسكري أمام المسلمين، فملكته وعينته على حرب فارس، وأطلقت يده في السلطة مدة عشر سنوات يكون الملك بعدها لآل كسرى، وأمرت ولاة المملكة وأعيانها بطاعته، فاستجابوا لها، وبذلك أنهى الفرس صراعاتهم، واتحدوا لمواجهة الزحف الإسلامي، واستردت المملكة قوتها السابقة. أقدم رستم على خطوة أولى وهي خلق وعي قومي فارسي في المدن والقرى التي فتحها المسلمون، وإثارة سكانها ضد حكامهم الجدد، فأرسل العمال والنقباء إلى جميع مدن العراق ليثيروا الحمية الدينية والقومية، فاندلعت نتيجة ذلك، الثورة ضد المسلمين في جميع مدن الفرات، وفقد هؤلاء المناطق التي كانت بحوزتهم. وجهزت بوران جيشًا كبيرًا بقيادة نرسي ابن خالة كسرى، وجابان وهو أحد أثرياء العراق المعروفين، بعدائه الشديد للمسلمين، وسلك هذان القائدان طريقين مختلفين تحسبًا من أن ينقض عليهما المسلمون، فوصل نرسي إلى كسكر بين الفرات، ودجلة وعسكر فيها بناء لأوامر رستم، وتخطى جابان الفرات إلى الحيرة، ونزل في موقع متقدم، وفي النمارق بين الحيرة والقادسية، وطلب القائدان مزيدًا من القوات من المدائن تعزيزًا لصفوفهما. ووصل المثنى بن حارثة في هذا الوقت إلى الحيرة، ولما علم بالاستعدادات الفارسية الضخمة، أدرك أنه لا قبل له بلقاء من عبأهم الفرس، فآثر الحذر وانسحب من الحيرة إلى خفان (موضع قرب الكوفة، وقيل: هو فوق القادسية)، وأدركه أبو عبيد فيها. معركة النمارق عبَّأ أبو عبيد جيش المسلمين البالغ عشرة آلاف مقاتل (تسعة آلاف كانوا مع المثنى، وانضم إليهم ألف قدموا مع أبي عبيد)، وزحف من خفان نحو النمارق (موضع قرب الكوفة)، وعسكر بمواجهة جابان، وفي المعركة التي دارت الطرفين في "8 شعبان 13ه/ 8 أكتوبر 634م"، هزم الفرس، ووقع جابان في الأسر، ولم يكن يعرفه المسلمون، فتمكن بدهائه من خديعة آسره، ففدى نفسه وهرب، كما أُسر القائدان جوشن شاه ومردان، وقتل الثاني على يد آسره. معركة السقاطية توجه من نجا من الفرس إلى كسكر لينضم إلى جيش نرسي، فطاردهم المثنى حتى درنا (دون الحيرة وهي باب من أبواب فارس)، ووصلت في ذلك الوقت أنباء هزيمة جابان إلى المدائن، فجهز رستم جيشًا آخر بقيادة الجالينوس، ودفعه إلى المعركة مددًا لنرسي، وتمنى هذا الأخير أن يدركه قبل الاشتباك مع المسلمين، فراح يناور ويتمهل في خوض المعركة، غير أن أبا عبيد لم يمهله كثيرًا، واصطدم بقواته في الساقطية الواقعة جنوبي كسكر قرب واسط، وذلك في "12 شعبان 13ه/ 12 أكتوبر 634م"، وانتصر عليه، وفر نرسي في جو الهزيمة القاتم. رفعت هذه الانتصارات الروح المعنوية للمسلمين، وحفزتهم على تكثيف حملاتهم في السواد، فأرسل أبو عبيد مجموعات صغيرة من الجيش لمطاردة فلول الفرس، والإغارة على قرى السواد، وتم لأول مرة سبي السكان، وتوزيعهم على المقاتلين كجزء من الغنيمة. شعر أهل القرى في السواد بعجزهم عن مواجهة غارات المسلمين والحد منها وبخاصة أن القوات الفارسية قد انسحبت من المنطقة، فاضطروا إلى مهادنتهم على أن يؤدوا لهم الجزية، ويدخلوا في ذمتهم. معركة باقسياثا عسكر الجالينوس في باقسياثا (بأرض السواد)، وتقوى بمن انضم إليه من فلول جابان، فاصطدم به أبو عبيد في "17 شعبان 13ه/ 16 أكتوبر 634م" وهزمه، وفر القائد الفارسي من أرض المعركة، وعاد إلى المدائن، وانتشر المسلمون في قرى السواد، وغلبوا على تلك البلاد . معركة الجسر وقد حفزت هزائم الفرس رستم فعبَّأ جيشا كبيرا بقيادة بهمن جاذويه ذي الحاجب يساعده الجالينوس ومعهم الفيلة وراية كسرى "درفش كابيان"، والتقى الجيشان على الفرات بقس الناطف، وقد خيَّر الفرس أبا عبيد أن يعبر إليهم أو يعبروا إليه، فاختار العبور كي "لا يكونوا أجرأ على الموت منا"، لكنه فقد خصائص عديدة، فقد كان وراءه الصحراء وبعبوره أصبح النهر وراءه، وكان في صحراء فأصبح في أعشاب ومستنقعات، وفي بدء المعركة رجحت كفة المسلمين، لكن الفيلة أرعبت خيلهم وخبطت أبا عبيد فقتلته، وانهزم المسلمون، وقام أحدهم بقطع الجسر ليمنع الهزيمة، لكنه أخطأ وزاد خسائر المسلمين التي بلغت أربعة آلاف بين قتيل وغريق ثم أصلح الجسر وعبر المسلمون. لقد كانت الهزيمة قاسية حتى لحق بعض المسلمين بالمدينة وبقي بعضهم بالبوادي يغلبهم الحياء، وجرت معركة الجسر في "23 شعبان 13ه/ 22 أكتوبر 634م". ولم يتعقب بهمن جاذويه المسلمين؛ لأن أخبارًا وصلت إليه عن نشوب ثورة ضد رستم، فآثر العودة إلى المدائن حتى يكون قريبًا من مجرى الأحداث، إلا أنه ترك اثنين من قادته في المنطقة هما جابان ومردان شاه ليتعقبا المسلمين، والواقع أن المثنى كمن لهما في أليس وأسرهما وقتلهما مع جندهما، وتحصن في هذه المدينة بانتظار جلاء الموقف. معركة البويب وكان لابد للمسلمين أن يثأروا للجسر، وبدأ الخليِفة عمر رضي الله عنه يحشد الجيوش لهذا الغرض، وقد تثاقل بعض المسلمين عن الذهاب إلى جبهة العراق ورغبوا في الالتحاق بالشام حتى أكره عمر بجيلة بقيادة جرير بن عند الله البجلي بالالتحاق بالعراق وعوضهم ربع خمس ما أفاء الله عليهم. وكذلك سمح عمر رضي الله عنه للمرتدين بالاشتراك بالفتوح وأمد بهم المثنى بن حارثة، وقد قاد المثنى جيش المسلمين والتقى بالفرس في البويب (وتسمى أيضًا معركة النخيلة، والبويب نهر كان بالعراق) مما يلي موضع الكوفة اليوم وعليهم مهران، وقد تمكن المثنى من حصر الفرس والإيقاع بهم وقتل مِهران. كما قام بتعقب الفارين، وبذلك استعاد المسلمون معنوياتهم، وغلبوا من جديد على السواد. وفي هذه المعركة اشتركت بعض القبائل العربية ونصارى النمر وتغلب إلى جانب المسلمين ضد الفرس. وسمى المسلمون معركة البويب التي حصلت في "شهر رمضان 13ه/ شهر نوفمبر 634م" يوم الأعشار؛ لأنهم أحصوا مائة رجل قتل كل منهم عشرة في المعركة . وفي أعقاب البويب ازداد إحساس الفرس بالخطر، فاجتمعوا على يزدجرد بن شهريار بن كسرى ونهض يزدجرد بالأمر فجند الكفاءات وحشد القوى، وأدرك المثنى خطورة الموقف فانسحب إلى ذي قار ينتظر أمداد المدينة. وقام الفرس بتجنيد عام وتوزيع الفرق في كل أنحاء الأرض التي احتلها المسلمون، وأثاروا السكان على المسلمين، فنقضوا الصلح وثاروا. معركة القادسية 15ه أما المسلمون فقد قام المثنى بن حارثة باستنفار القبائل العربية لقتال الفرس، وأرسل عمر رضي الله عنه الأمداد من المدينة وأراد أن يقودها بنفسه لولا نصيحة الصحابة له بالبقاء، ويولى القيادة سعد بن أبي وقاص، ويقال أن جيشه بلغ بمن التحق به في طريقه إلى العراق 20,000 مقاتل، ولما وصل إلى العراق كان المثنى قد استشهد من جراح أصابته، فضم إليه جيشه البالغ 8000 مقاتل، وأمر عمر رضي الله عنه أبا عبيدة بن الجراح قائد الجيش في الشام أن يمده بالجيش الذي سحبه خالد من العراق قبل اليرموك فأعادهم وهم 8000 مقاتل بقيادة هاشم بن عتبة بن أبي وقاص، وأما الفرس فبلغ عددهم في بعض الروايات 120,000 مقاتل معهم 33 فيلاً يقودهم رستم كببر القادة الفرس. وقد بدأت المفاوضات أولاً وأوضح رسل المسلمين ومنهم المغيرة بن شعبة والنعمان بن مقرن أهداف المسلمين لرستم الذي تصور أن الأمر يمكن أن يسوى بالمال، ثم دارت رحى المعركة في القادسية ثلاثة أيام هي أرماث وأغواث وعمواس، ولياليها الهدأة والسواد والهرير وهىِ أشدها، وقد أفاد المسلمون من يوم الجسر، حيث تمكنوا من التخلص من الفيلة برمي عيونها ففرت وقتل رستم وانهزم الفرس وقتل منهم ألوف كثيرة وخسر المسلمون 6000 مقاتل. واختلف في سنة الوقعة بين 14 و 15 و 16ه ولعل الراجح أنها سنة 15ه بعد اليرموك ودمشق وفحل . فتح المدائن وانطلى المسلمون بعد القادسية إلى المدائن بعد أن سقطت أمامهم بابل ثم بهرسير في شهر "صفر 16ه/ مارس 637م"، وفر يزدجرد من المدائن إلى حلوان تاركا حامية في المدائن، وقد اقتحم المسلمون نهر دجلة بجرأة نادرة ولم يستطع الفرس صدهم، وسلمت الحامية على الجزية، ودخل المسلمون القصر الأبيض الذي وعدهم الرسول صلى الله عليه وسلم بفتحه . موقعة جلولاء 16ه وفتح حلوان وبدأ يزدجرد بتنظيم المقاومة من حلوان ويتقدم نحو المدائن، لكن سعدا وجه هاشم بن عتبة على جيش من المسلمين، فالتقى بالفرس وهزمهم وفتح حلوان وذلك في موقعة جلولاء ("أول ذي القعدة 16ه / 24 نوفمبر 637م") التي يمثل سقوطها انهيار الخطوط الأولى للمقاومة الفارسية وفي أعقاب جلولاء اعتنق دهاقين السواد الإسلام، فأقرهم عمر رضي الله عنه على مراكزهم ورفع عنهم الجزية. وكان فتح حلوان خاتمة فتوح العراق، لكن الوضع العسكري تطلب القيام بعمليات تطهير شاملة لبقايا الوجود الفارسي، وإخضاع القرى وبخاصة في السواد الشرقي لدجلة، فنفذ هاشم هذه العمليات بنجاح، فصالحه دهقان مهرومز على جريب من دراهم على ألا يقتل أحدًا منهم، ولكن دهقان دسكرة اتهم بغش المسلمين فقتله هاشم، ثم توجه نحو بندنيجين، فصالحه سكانها على أداء الجزية مقابل الأمان، ولم يبق من سواد دجلة ناحية إلا غلب عليها المسلمون، وأقبل أمراء الثغور عليهم لطلب الأمان مقابل دفع الجزية . فتح تكريت وبعد جلولاء أرسل سعد بن أبي وقاص جيشا بقيادة عبد الله بن المعتم لفتح تكريت في 5000 مقاتل، فقاتل فيها الروم الذين كانوا يسيطرون عليها وسقطت بعد حصار أربعين يوما. ثم وجه ابن المعتم ربعي بن الأفكل العنزي إلى الموصل فصالح أهلها وأهل نينوى على الجزية، وذلك في "جمادى الأول 16ه / يونيه 637م" . بناء الكوفة 16ه وقد طلب عمر بن الخطاب رضي الله عنه من سعد بن أبي وقاص أن لا يوغل في بلاد الفرس وأن يبني مدينة للمسلمين لأنهم استوخموا جو المدائن، ولعله خشي غلبة عادات أهلها وترفهم على المسلمين، فبنى سعد الكوفة التي لا يفصلها عن الصحراء ماء لتكون قاعدة الجيوش الإسلامية في العراق. وأشرف أبو الهيجاء بن مالك الأسدي على تخطيط المدينة، وأول ما شيد من أبنيتها المسجد الجامع، وبنيت أمامه ظلة واسعة المساحة أقيمت على أعمدة، وشيدت دار الإمارة بجوار المسجد، وسميت قصر سعد، وأقام الجند منازلهم حول فناء المسجد، فاختارت كل قبيلة مكانًا نزلت فيه وجعلت به خيامها. وكان من أهم مميزات المدينة الجديدة اتساع طرقها، حتى لا تحجب الأبنية هواء البادية عن سكانها . بناء البصرة 16ه أو 17ه وقريبا من ذلك الوقت بنى عتبة بن غزوان البصرة في منطقة الأبلة التي فتحها عتبة بن غزوان سنة 14ه.حيث وجهه عمر لغزو الجنوب حين وجه سعد بن أبي وقاص إلى القادسية. وقد فتح عتبة الأبلة وهي مرفأ عظيم للسفن بعد قتال مع الفرس، ثم بنى البصرة. فقد كانت قاعدة البصرة في جنوبي العراق من أقدم هذه الأمصار، وكان عمر لكي يحمي البلاد من الهجمات الفارسية الارتداية قد كلف عتبة بن غزوان بإقامة مدينة قريبة من ميناء الأبلة، حيث كانت ترسو سفن فارس والهند، وقد وصف له طبيعة الأرض وموقعها: "أجمع أصحابك في موضع واحد، ولكن قريبًا من الماء والمرعى، واكتب إلي بصفته"، فاختار موضع البصرة، وكتب إلى الخليفة بصفته، فاستحسنه واطمأن إلى موقعه، والواقع أن هذا المكان كان ميدانًا قفرًا به حصى وحجارة، محاطًا بالماء والكلأ، فهو مناسب تمامًا لطبيعة العربي. وضع عتبة أساس المدينة، وبنى المسجد الجامع من القصب، وكذلك بنى الناس منازلهم، وكلف عاصم بن دلف لينزل القبائل في مواضعها، وتم بناء المباني الخاصة بدوائر الحكومة والإدارة، وفي عام "17ه/ 638م" اندلعت النار في المكان، فاحترق أكثر البيوت، فأرسل سعد إلى الخليفة يستأذنه في بناء مبان من اللبن تكون أكثر ثباتًا، فوافق عمر لكنه أكد على ألا يبني الفرد أكثر من ثلاث حجرات في المنزل، كما أمر بشق قناة تصل المدينة بدجلة، وأضحت البصرة بعد ذلك، ثغر العراق على الخليج العربي. استأذن عتبة الخليفة في أن يقدم عليه في المدينة، فأذن له، فاستخلف المغيرة بن شعبة على البصرة، وأقر عمر إمارته، فظل بها حتى شهر "ربيع الأول 17ه/ أبريل 638م"، عندما استبدله بأبي موسى الأشعري، فاختط البصرة من جديد، وأقام البناء باللبن، والطين ووسع المسجد الجامع، وجدد دار الإمارة . وهكذا أصبحت الكوفة والبصرة المنطلقين الرئيسيين للجيوش الإسلامية التي فتحت المشرق، وهكذا أيضا أصبح الاستقرار طابع الفتوحات في خلافة عمر رضي الله عنه. لقد فُتح أكثر العراق عنوة، وانتقض مرات عديدة، حتى أن عهود الفتح وشروط الصلح تغيرت مرات عديدة، ويترتب على الفتح عنوة استملاك المسلمين للأرض، لكنهم دعوا المغلوبين للبقاء فيها على أن يدفعوا الخراج، وأفاد هذا الإجراء في عدم تحول الفاتحين إلى فلاحين، وفي ربط الفلاحين القدامى بأرضهم وولائهم لبلدهم، وساعد ذلك على ازدهار الزراعة في السواد، وما كان بوسع الفاتحين استثمار الأرض لنقص الخبرة. أما موقف السكان فقد قاوم العرب الفاتحين مقاومة عنيفة وخاصة نصارى بكر بن وائل، أما الفلاحون فقد ساعدوا الفاتحتين الذين أبقوا الأرض بأيديهم، لكن الجند من أهل السواد قاوموا بعنف فهم يرتبطون بالدولة، وأما الدهاقين فكانوا مع الغالب، ولما رجحت كفة المسلمين أسلموا وتولوا أعمالهم السابقة على الفتح. أما إسلام السكان فقد استجابت العامة للدين السمح والدهاقين للحفاظ على مصالحهم، وأسلمت بعض القبائل العربية مثل ربيعة، وحافظت بكر بن وائل على النصرانية، وأسلم بعض الفرس واشتركوا في القادسية مع المسلمين لكن عددهم كان محدوداً.
