Sejarah kepemilikan rumah ini diawali dengan pendiri sekaligus pemiliknya adalah Tan Ko Giem, diperkirakan dibangun ± 100 tahun yang lalu. Pada saat pertama kali rumah ini dibangun, hanya berfungsi sebagai rumah tinggal saja. Pada tahun 1950 – 1960-an beralih fungsi sebagai kantor NV. Tan Ing Goen. Sekarang beralih fungsi lagi sebagai rumah tinggal bagi keluarga Tan Bok Ay. Setealh Tan Ko Giem meninggal rumah ini kemudian diwariskan kepada generasi kedua yaitu Tan Giok Gian, dan diwariskan lagi kepada generasi ketiga, yaitu Tan Gwan Lie / Tan Gwan Djiang dan terakhir menjadi milik Tan Bok Ay sampai sekarang. Namun sekarang didiami oleh kedua putrinya, yaitu Tanti Febiola dan Christina Damayanti.
Bangunan ini terletak di jalan Pemuda No. 29, Kelurahan Tempelan, Kecamatan Blora. Bangunan berasitektur kolonial, dengan materi utama terbuat dari beton dan kayu jati. Luas tanah ± 3.500 m² dan luas bangunan ± 1.000 m² dengan bangunan tambahan seluas ±200 m². Bangunan utama digunakan sebagai ruang keluarga dan kamar tidur, sedangkan bangunan sekunder digunakan untuk dapur, gudang, dan garasi. Lantainya berupa tegel kuno masih orisinil dari sejak pertama kali rumah ini dibangun. Pintu jendela dan tiangtiangnya terbuat dari kayu jati dengan detail ukir masih orisinil.