ห้องสมุดของสวนดุสิตมีการเปลี่ยนแปลงและพัฒนาไปในทิศทางที่ดีขึ้นตลอดมา โดยแรกเริ่มห้องสมุดอยู่ที่ห้องพักครูอาคาร 1 ชั้น 1 เป็นห้องสมุดที่ประกอบด้วยตู้ขาวปิดกระจกจำนวน 6 ตู้ จากนั้นประมาณ พ.ศ. 2506 ได้ย้ายมาตั้งอยู่ที่มุมตึกอาคาร 1 ชั้น 1 มีขนาด 1 ห้องเรียน จัดหมวดหมู่หนังสือตามระบบทศนิยมของดิวอี้ พ.ศ. 2510 ได้ย้ายห้องสมุดมาอยู่ที่อาคารวิทยาศาสตร์ (อาคารกิจการนักศึกษาในปัจจุบัน) ชั้นล่างจัดชั้นเป็นหนังสืออ้างอิง หนังสือภาษาไทย วารสาร หนังสือพิมพ์ ส่วนชั้นบนเป็นหนังสือภาษาอังกฤษ นวนิยาย และที่ซ่อมหนังสือ ต่อมา พ.ศ. 2519 ได้ย้ายห้องสมุดมาอยู่ที่อาคาร 2 ชั้น 1 ต่อมา พ.ศ. 2521 ได้ก่อสร้างอาคารหอสมุด 4 ชั้น และย้ายมาที่อาคารหอสมุด วันที่ 5 ตุลาคม พ.ศ. 2522 และประกอบพิธีทำบุญเลี้ยงพระฉลองอาคารหอสมุด วันที่ 24 ตุลาคม พ.ศ. 2522 โดยศาสตราจารย์เรวดี วงศ์พรหมเมฆ ตั้งชื่อว่า “หอสมุดวิทยาลัยครูสวนดุสิต” และให้บริการมาจนถึงปัจจุบัน
เดิมอาคารห้องสมุดของสวนดุสิต มี 2 ส่วน อาคารหลังแรกคือ ห้องสมุด และอาคารที่สอง สำนักวิทยบริการ สร้างขึ้นเพื่อเป็น Virtual Library หรือ ห้องสมุดเสมือน ที่มีการใช้ระบบคอมพิวเตอร์เข้ามาช่วยในการเรียนรู้แบบใหม่ในการสืบค้นข้อมูล แนวคิดการสร้าง Virtual Library มาจากท่านอธิการบดี รศ.ดร.ศิโรจน์ ผลพันธิน ที่ไม่อยากให้ห้องสมุดเป็นรูปแบบแปลนสี่เหลี่ยมเหมือนสถาบันการศึกษาอื่น ๆ โดย ดร.ชัยชนะ โพธิวาระ ผู้อำนวยการ สำนักวิทยบริการในขณะนั้นรับแนวคิดดังกล่าวมาต่อยอดออกแบบร่างในกระดาษคร่าว ๆ แล้วให้สถาปนิกร่างแบบออกมาให้สวยงามอีกครั้ง ซึ่งห้องสมุดที่ผู้บริหารต้องการคือ มีความสว่างจากแสงด้านบน และมีห้องที่สามารถใช้บริการที่หลากหลายเหมาะสมกับการเรียนรู้ของนักศึกษา
การเชื่อมโยงห้องสมุดกับสำนักวิทยบริการเข้าด้วยกัน ส่งผลให้ “การเรียนรู้” ไม่จำเป็นต้องเรียนรู้แต่ในห้องเรียน แต่สามารถเรียนรู้ได้จากการปฏิบัติ การสังเกตจากความแตกต่างทางวัฒนธรรม การเรียนรู้ภายนอกห้องเรียนเป็นการสังเกตเรียนรู้จากสิ่งแวดล้อม และการรับฟังเรื่องเล่าต่าง ๆ จึงทำให้เกิดแนวคิด One World Library (OWL) คือ ทำให้ทุกจุดของมหาวิทยาลัยสวนดุสิตเป็นแหล่งเรียนรู้ สามารถเรียนรู้ได้ก่อนที่จะเข้าไปเรียนในห้องเรียน เป็นการเรียนรู้จากสิ่งแวดล้อมซึ่งเป็นความรู้ที่ใหม่และทันสมัยกว่าการเรียนรู้ในห้องเรียน และเมื่อเข้าเรียน
ในห้องเรียนก็จะได้มุมมองที่เสริมให้ความรู้ชัดเจนและเข้มแข็งขึ้น
พื้นที่เดิมก่อนจะจัดสร้างเป็นอาคารหอสมุด เคยเป็นสระน้ำและริมสระน้ำมีอาคารเล็ก ๆ ที่เรียกว่า “อาคารเกษตร” สระน้ำแห่งนี้แบ่งเขตวิทยาลัยครูสวนดุสิตและวิทยาลัยครูสวนสุนันทา ในสมัยศาสตราจารย์ ดร.สายหยุด จำปาทอง เป็นอธิบดีกรมการฝึกหัดครู เกิดกรณีพิพาทเขตแดนระหว่างสวนดุสิตและสวนสุนันทาบริเวณอาคารห้องสมุดซึ่งเป็นบริเวณที่ยื่นไปในสระน้ำ อาคารห้องสมุดจึงเป็นอาคารที่สร้างบนพื้นที่ซึ่งได้จากการถมสระน้ำ ดังนั้น พื้นที่แบ่งเขตแดนในปัจจุบันจึงเว้าแหว่งตามแนวอาคาร
บริเวณทางเข้าอาคารหอสมุด เคยมีต้นไม้ที่เก่าแก่แต่ปัจจุบันตัดออกไปแล้วคือ ต้นตะแบก ที่ต้องตัดทิ้งเนื่องจากไม่สามารถกลับรถบริเวณอาคารจอดรถ (อาคาร 13) ได้