يبلغ ارتفاعه 11.5م، وينزل إليه بدرج طويل من داخل الأقصى، ويتكون الباب من بوابتين: الرحمة جنوباً و التوبة شمالاً، باب مزدوج يعلوه قوسان ويؤدي إلى قاعة مسقوفة بعقود ترتكز على أقواس قائمة فوق أعمدة كورنثية ضخمة.
سمي بهذا الاسم كما ورد عن أبي العوام مؤذن بيت المقدس قال: سمعت عبدالله بن عمرو بن العاص يقول: إنه السور الذي ذكره الله في القرآن (يَوْمَ يَقُولُ الْمُنَافِقُونَ وَالْمُنَافِقَاتُ لِلَّذِينَ آَمَنُوا انْظُرُونَا نَقْتَبِسْ مِنْ نُورِكُمْ قِيلَ ارْجِعُوا وَرَاءَكُمْ فَالْتَمِسُوا نُورًا فَضُرِبَ بَيْنَهُمْ بِسُورٍ لَهُ بَابٌ بَاطِنُهُ فِيهِ الرَّحْمَةُ وَظَاهِرُهُ مِنْ قِبَلِهِ الْعَذَابُ). هو السور الشرقي؛ باطنه المسجد وظاهره وادي جهنم.
سميت المقبرة على جانبي الباب من الخارج باسم مقبرة الرحمة ( تضم قبري الصحابيين شداد بن أوس وعبادة بن الصامت رضي الله عنهم).
اعتقاد النصارى حول الباب
يعتقدون أن المسيح عليه السلام قد دخل من هذا الباب في عيد الفصح وأن هرقل دخل منه للقدس بعد انتصاره على الفرس وقد أطلقوا عليه اسم الباب الذهبي وهي ترجمة خاطئة لاسمه باللغة اليونانية والتي تعني الباب الجميل.