Od roku 1776 probíhala výuka v roubeném domě, který sem byl převezen z nedalekých lázní na Klokočce. Kamenná školní budova vystavěná už na současném místě ho nahradila roku 1824 a později byla rozšířena o zadní trakt. O jejím vzniku zásluhou hraběte Arnošta z Valdštejna svědčí historická pamětní deska zazděná v levé vnitřní zdi za vstupními dveřmi. Až do konce 19. století se učilo ve smíšených třídách. Po otevření velké chlapecké školy v letech 1905–7 sloužila budova až do roku 1953 pouze jako škola dívčí a poté ještě devět let opět jako škola smíšená. Po přestěhování všech tříd do hlavní školy vznikla roku 1963 v prvním patře domu městská knihovna a v přízemí školní jídelna fungující až do roku 2001. Ve stejném roce byla na jejím místě zřízena dnešní moderní knihovna, ke které přibyla zanedlouho i pobočka základní umělecké školy. Prostory prvního patra jsou od roku 2002 sídlem Muzea Bakovska s poutavou expozicí věnovanou historii a kultuře kraje.