يضم قسم الكتب النادرة مجموعة ثرية من الكتب النادرة، والخرائط، والمجموعات الخاصة؛ حيث يوجد أكثر من 15.000 كتاب نادر، يرجع تاريخ طباعة أقدمها إلى عام 1496م، بالإضافة إلى أكثر من 700 دورية (54.000 عددٍ) و 66.000 من كتب المجموعات الخاصة. والمجموعات الخاصة هي المكتبات المهداة كاملةً من كبار الشخصيات، ويضم القسم عددًا منها، مثل مجموعة الرئيس الراحل محمد أنور السادات، ومجموعة السلطان قابوس، ومجموعة الدكتور عبد الرزّاق السنهوري، ومجموعة الدكتور حسين هيكل وغيرهم من الشخصيات البارزة.
ولا يقتصر دور القسم على الحفاظ على الرصيد الثقافي الموجود به فحسب، بل يوفر قاعة اطلاع (في المستوى السفلي الثاني B2) تقدم الخدمة البحثية للقُرّاء وطلبة الدراسات العليا. ويُسمح بتصوير الكتب في حدود 20٪ من الكتاب، بسعر 20 قرشًا للصفحة. مع العلم أن بعض الكتب لا يُسمح بتصويرها؛ حرصًا عليها لحالتها الخاصة.