Gedung Museum BPK RI dahulunya merupakan gedung kantor Badan Pemeriksa Keuangan RI yang pertama kali dibentuk. Kantor BPK tersebut dibuka berdasarkan pada penetapan Pemerintah RI No.11/Oem tanggal 28 Desember 1946. Gedung itu mulai dipergunakan untuk aktivitas BPK mulai 1 Januari 1947 hingga tahun 1948. Kemudian pada 6 November 1948 tempat dan kedudukan BPK dipindahkan dari Magelang ke Yogyakarta dengan penetapan pemerintah Nomor 6/1948. Beberapa kali berpindah tempat, kantor BPK RI yang terletak di Magelang tidak digunakan lagi. Dalam upaya BPK RI lebih dikenal di lingkungan masyarakat luas, Pimpinan Badan periode 1993-1998 bertekad untuk membangun Museum BPK RI yang bertempat di Magelang. Museum BPK RI ini diresmikan pada 4 Desember 1997 oleh Ketua BPK RI, Prof. DR. JB. Sumarlin pada masa kepemimpinan saat itu. Kemudian, pimpinan Badan Periode 2014-2019 yang diinisiasi oleh Wakil Ketua BPK, Sapto Amal Damandari, berinisiatif untuk melakukan pengembangan Museum BPK. Pengembangan Museum BPK ini bertujuan untuk lebih memperkenalkan BPK lebih dekat dengan masyarakat dan juga dengan memperhatikan tren museum post-modern. Renovasi dilakukan pada tahun 2016 dan museum diresmikan kembali pada tanggal 9 Januari 2017. Sejak pertama kali diresmikan pada tahun 1997, museum BPK dikelola oleh Perwakilan BPK Provinsi DI Yogyakarta. Kemudian setelah dibangun kantor Perwakilan BPK RI Provinsi Jawa Tengah, pengelolaan Museum BPK berpindah ke Subbag Umum Perwakilan BPK Provinsi Jawa Tengah pada tahun 2009. Setelah renovasi dan diresmikan kembali pada tahun 2017, Museum BPK dikelola oleh UPT Museum BPK di bawah Biro Humas dan Kerja Sama Internasional BPK RI Pusat.