أُستخدم فيها عدة أنواع من الأقواس الموسدة والأقواس المتعرجة التي تمتاز فيها العمارة الصليبية والأيوبية، كما أن المكتبة تتميز باستخدام الحجر الأبلق الذي كان يميز عمارة المماليك، وهو عبارة عن دمج حجارة حمراء وبيضاء في إطارات الأبواب والشبابيك التي كانت محاطة بأطُر منحنية، وقد قام الحاج راغب الخالدي بإنشاء المكتبة الخالدية باعتبارها وقفاً إسلامياً بمبلغ من المال أوصت به جدته خديجة الخالدي “بنت موسى أفندي الخالدي”، كما وتقوم المكتبة في أساسها المعرفي والعلمي على ما تملكه عائلة الخالدي من مخطوطات وكتب تم جمعها من أجيال متتابعة من قبل محمد علي، ويوسف ضياء باشا، والشيخ موسى شفيق، وكثير غيرهم، وكان الهدف من المكتبة أن تكون عامة يستفيد منها جميع زوارها وتعزز لديهم العلم والمعرفة، وتشجيع الاهتمام بأمهات الكتب في العلوم الإسلامية وفي الموضوعات الحديثة، وكانت قد أعد لتكون مكتبة عمومية، ولتسهيل البحث فيها قاموا بتصنيف وتبويب وحفظ الكتب والمراجع، لتصبح جاهزة للترحيب بالعلماء من جميع أنحاء العالم، كما يعد مبنى المكتبة نموذج معماري يمثل القدس في العصور الوسطى، فيعود المبنى إلى مملكة القدس في الحقبة الصليبية، وفي فترة لاحقة دُفن في الموقع ثلاثة محاربين “خوارزميين” جاؤوا ضمن الفيلق الخوارزمي للقوات التي هزمت الصليبيين في فلسطين، وهؤلاء الثلاثة هم أب وابنيه، واسم الأب: بركت خان -لذلك سمي المبنى في الحقبة المملوكية بـ “تربة بركة خان”-، هناك افتراض بأن بركت خان هو ابن السلطان المملوكي بيبرس، الذي تزوج من ابنة أحد القادة الخوارزميين.
أما عن واقع المكتبة ففي سنة 1952، بعد موت مسؤول المكتبة الأول، تدهورت المكتبة وتم إغلاقها، وبعد احتلال كامل القدس عام 1967 كانت هناك محاولات حثيثة لرجل الدين اليهودي الراب “شلوموغورين” لاقتناء الموقع، ولكن في سنة لا، وكنتيجة لإصرار المستشرق أمنون كوهين وعالم الآثار دان باهَت، تم ترميم المبنى وافتتح من جديد كمكتبة في سنة 1995، ومديرته الحالية هي السيدة هيفاء الخالدي -مع أن أجدادها قد خصصوا الوقف “للرجال فقط”-، وفي المكتبة 1,278 مخطوطة تعود للفترة المملوكية والعثمانية بالإضافة إلى 5,000 كتاب مطبوع، وهي تدور في مواضيع التاريخ، الجغرافيا، علم الفلك، القرآن، الفلسفة، والشعر. الغالبية الساحقة مدونة بالعربية، 18 بالفارسية، و46بالتركية، ويتوفر في المكتبة عدد كبير نسبياً من المخطوطات الأصلية، المكتوبة بيد المؤلف نفسه لا النساخ، ويوجد فيها كتب مزخرفة تدعى بـ”المَكرُمات” مُنِحت كهدايا، من بينها مكرمة منحت لصلاح الدين الأيوبي، كذلك تتواجد في المكتبة كتب مزخرفة في الطب الهندي من القرن الثالث عشر، مصحف ضخم ومزخرف من القرن السادس عشر والمزيد.