北京语言大学图书馆成立于1962年，当时被称为北京外国留学生高等预备学校图书馆。1965年，正式改名为北京语言学院图书馆。1969年北京语言学院撤销，图书馆也随之停止工作。1972年复校，图书馆恢复正常工作。1982年图书馆从教务处领导改为由学校直接领导，升格为处级单位。1996年6月13日更名为北京语言文化大学图书馆。2002年8月26日更名为北京语言大学图书馆。1992年5月新馆舍建成，同年9月投入使用，新馆建筑面积9870平方米。
为实现全校图书资料系统的统一管理，2003年1月12日汉语学院、外国语学院资料室归属图书馆，并成立分馆(语言区)。2004年6月4日人文学院资料室归属图书馆，成立分馆(人文区)。
1962年建馆时从北京大学、北京外国语学院、行政学院调来图书约3万余册奠定了馆藏基础。1966年藏书量为8万余册，1974年藏书量为12万余册，1977年藏书量为20万余册，1980年藏书量为27万余册，1984年藏书量为42万余册，1993年藏书量为51万余册。1999年藏书量为60余万册。2001年藏书量为62万余册。2003年藏书量为76万余册(含合订期刊)。2004年藏书量(全校)为80万余册(含合订期刊)。2005年藏书量(全校)为83万6千余册(含合订期刊)。2006年藏书量(全校)为86.9万余册(含期刊合订本)，中英文电子图书32354册(其中北大方正电子图书18694册)。2007年总藏书量达到90万册。
北京语言大学是中国唯一一所以汉语国际推广和对来华留学生进行汉语、中华文化教育为主要任务的国际型大学，同时对中国学生进行外语、汉语言文学、计算机科学、信息科学和金融学、会计学等专业教育，并承担着对外汉语教学师资培养、培训以及出国留学预备人员出国前的外言培训工作。为此，图书馆的馆藏建设方针是：以收集语言文字类文献为主，兼顾文史哲类、金融类、信息科学和计算机科学类以及中华文化类文献的收藏。图书馆的宗旨是：为各学科的教学与研究人员及学生提供完善的文献保障和服务。