国家图书馆有悠久的历史。中国古代西周的盟府、秦代阿房宫的藏书可视为古代国家图书馆的雏形。中国国家图书馆原名北京图书馆，前身是建于清代的京师图书馆。20世纪初，在变法图强和西学东渐的背景下，有识之士力奏清政府建立西式的文化设施，兴办图书馆和学堂。1909年（清宣统元年）9月9日宣统皇帝御批兴建京师图书馆，四品翰林院编修缪荃孙为首任监督，馆舍设在北京什刹海北岸广化寺。直到清帝逊位之日，京师图书馆始终没有正式接待过读者。

　　 1929年8月与中华教育文化基金会建立的北平北海图书馆合并，仍名国立北平图书馆，归国民政府教育部领导。1931年文津街馆舍落成（现为国家图书馆古籍馆），耗费皆来自退还的庚子赔款，占地面积七十六亩，建筑外观是华丽的中国传统宫殿式结构，内部设施则全部为当时最先进的西式设备，成为当时国内规模最大、最先进的图书馆。先后参与筹划开馆和主持馆务的主要有徐坊、江翰、夏曾佑、鲁迅、梁启超、陈垣、马叙伦、蔡元培、袁同礼和李四光等。值得一提的是，当时的北平图书馆是免费面向社会公众开放的，市民无需交纳任何费用，只需每次在图书馆入口处领取具有借书证性质的门牌就可以在图书馆中任意借书阅览，但并不提供外借。另外，图书馆对进馆读者的衣着有着严格的要求，读者必须着中式长衫或者西式衬衫西裤并衣着整洁方可入内，否则就要被挡在图书馆的大门之外。

　　中华人民共和国成立后，1950年3月6日国立北平图书馆更名为国立北京图书馆。1951年6月12日更名为北京图书馆。为中华人民共和国唯一的国家图书馆。冯仲云、丁西林、刘季平、任继愈先后任馆长。随着国家建设事业的发展和社会公众文化需求的日益增长，文津街馆舍虽几经扩建，仍不敷使用。1975年3月共和国总理周恩来提议并批准兴建北京图书馆新馆，馆址设在北京西郊白石桥，1987年落成，邓小平同志为北京图书馆题写馆名。

　　 1998年12月12日经国务院批准，北京图书馆更名为国家图书馆，对外称中国国家图书馆。1999年4月16日江泽民主席为国家图书馆题写馆名。