ذكر صاحب كتاب " خزائن الكتب العربية " أن مكتبة المسجد النبوي الشريف تكونت قبل حريق المسجد النبوي في 13 رمضان عام 886 هـ ، حيث احترقت خزائن المصاحف والكتب في ذلك الحريق ، وكانت تضم الخزائن كتباً نفيسة ومصاحف عظيمة .

أما في العهد السعودي الزاهر فقد تأسست المكتبة عام 1352 هـ باقتراح من السيد عبيد مدني حينما كان مديراً للأوقاف في المدينة المنورة ، وكان أول مدير لها هو السيد أحمد ياسين الخياري .

وبالمكتبة بعض الكتب التي يعود تاريخ وقفها على المسجد النبوي قبل تاريخ إنشاء المكتبة ، مثل مكتبة الشيخ محمد العزيز الوزير التي أوقفت عام 1320هـ ، وهي من الكتب التي أدخلت في المكتبة بعد تأسيسها ، وكانت هناك كتب في الروضة الشريفة على بعضها تاريخ متقدم عن تاريخ تأسيس المكتبة .

وموقع المكتبة حالياً داخل المسجد النبوي الشريف ، حيث يسمح لجميع زوار المسجد النبوي الشريف بالاستفادة من المكتبة والخدمات المقدمة فيها.