In der 1954/55 von Max Taut erbauten Wohnanlage, heute denkmalgeschützt, fand mit dem Jahr der Fertigstellung die F. als Freihandbücherei ihr Domizil. 1850, waren die ersten vier Volksbibliotheken der Öffentlichkeit übergeben worden. Die 4. Volksbibliothek wurde 1877, die 1. im Jahr 1921 in die Stallschreiberstraße 54 verlegt, wo sie insgesamt die 1. Volksbibliothek bildeten. Nach schweren Bombenschäden öffnete sie 1945 am Tempelhofer Ufer 15. 1953 kam sie in das Verbandshaus der Deutschen Buchdrucker und 1955 in ihr heutiges Quartier. Da sich ihr Ursprung bis auf die ersten städtischen Volksbibliotheken Berlins zurückverfolgen lässt, erhielt sie ihren Namen nach dem Historiker Friedrich von Raumer, der sich um die Gründung von Volksbibliotheken verdient gemacht hatte. Heute gehört sie wie die übrigen Kreuzberger Bibliotheken zum elektronisch vernetzten Verbund der Öffentlichen Bibliotheken Berlins (VÖBB).