يتوصل إليه عن طريق 11 عتبة تؤدي إلى ساحة مكشوفة ومزروعة بالورد والكروم، أما بيت الصلاة فتغلب البساطة على شكله، وهو مغطى بأقبية متقاطعة على شكل سقف مثلث، ومن الداخل يقوم على ثلاثة أعمدة.
له مساحة متوسطة مقارنة مع المساجد الأخرى، ويبلغ أقصى ارتفاع له أربعة أمتار تقريباً من الوسط، وقد فتح في واجهته الجنوبية محراب يتكون من حنية يعلوها نقش تذكاري حجري يعود للبناء الذي يعلو المسجد، وفي سبعينيات القرن العشرين الماضي تم تبليط جدرانه من الداخل بحجر المنشار لمنع الرطوبة، وفيما بعد أضيف له مكتبة ودورة مياه.
يقع المسجد وسط حيز حيوي يزدحم بالزوار المسيحيين والمسلمين والمحال التجارية المتخصصة ببيع التحف وأزياء الشعبية، ويعد أبرز رمز إسلامي وشاهد على تسامح العرب المسلمين وتعايشهم مع سواهم من أصحاب الديانات والمذاهب الأخرى، ويقوم في الموضع الذي صلى فيه الخليفة عمر بن الخطاب – رضي الله عنه- عندما فتح المدينة ومنح وثيقة التسامح لأهلها، وقد اعتنى المسلمون بهذا المسجد، ففي سنة (870 هـ/ 1465م) تم تأسيس مئذنته المربعة الشكل، ويقال أن مئذنة المسجد تعود للفترة المملوكية حيث تشابه المئذنة طراز بناء المآذن المملوكية, ويقال أن البناء تم في مكان غير المكان الذي صلى فيه سيدنا عمر بن الخطاب رضي الله عنه؛ وذلك لأن مدخل كنيسة القيامة كان في الجهة الشرقية، حتى تم تحويله في فترة الاحتلال الصليبي حيث فتح الباب من الجهة الجنوبية، ويقال أيضًا أن البناء تم في مكان غير الذي صلى فيه خليفة المسلمين عندما فتح القدس عام ( 15 هـ 636 م ).