Klenteng Sam Po Kong, selain merupakan tempat ibadah dan ziarah juga merupakan tempat wisata yang menarik untuk di kunjungi. Tempat ini dikenal juga dengan sebutan Gedong Batu. Ada yang mengatakan nama ini dipakai karena asal mula tempat ini adalah sebuah gua batu besar yang terletak pada sebuah bukit batu. Tetapi ada sebagian orang yang mengatakan bahwa sebenarnya asal kata yang benar adalah Kedong Batu, alias tumpukan batu-batu alam yang digunakan untuk membendung aliran sungai.

Komplek Klenteng Sam po Kong terdiri atas sejumlah anjungan yaitu Klenteng Besar dan gua Sam Po Kong, Klenteng Tho Tee Kong, dan empat tempat pemujaan (Kyai Juru Mudi, Kayai Jangkar, Kyai Cundrik Bumi dan mbah Kyai Tumpeng). Klenteng Besar dan gua merupakan bangunan yang paling penting dan merupakan pusat seluruh kegiatan pemujaan. Gua yang memiliki mata air yang tak pernah kering ini dipercaya sebagai petilasan yang pernah ditinggali Sam Po Tay Djien (Cheng Ho).

Bentuk bangunan klenteng merupakan bangunan tunggal beratap susun. Berbeda dengan tipe klenteng yang lain, klenteng ini tidak memiliki serambi yang terpisah. Pada bagian tengah terdapat ruang pemujaan Sam Po.

Menurut cerita, pada awal abad ke-15 Laksamana Cheng Ho sedang mengadakan pelayaran menyusuri pantai laut Jawa dan sampai pada sebuah semenanjung. Karena ada awak kapal yang sakit, ia memerintahkan mendarat dengan menyusuri sebuah sungai yang sekarang dikenal dengan sungai Kaligarang. Ia mendarat disebuah desa bernama Simongan. Setelah sampai didaratan, ia menemukan sebuah gua batu dan dipergunakan untuk tempat bersemedi dan bersembahyang. Cheng Ho memutuskan menetap untuk sementara waktu ditempat tersebut. Sedangkan awak kapalnya yang sakit dirawat dan diberi obat dari ramuan dedaunan yang ada disekitar tempat itu.

Setelah ratusan tahun berlalu, pada bulan Oktober 1724 diadakan upacara besar-besaran sekaligus pembangunan kuil sebagai ungkapan terima kasih kepada Sam Po Tay Djien. Dua puluh tahun sebelumnya diberitakan bahwa gua yang dipercaya sebagai tempat semedi Sam Po runtuh disambar petir. Tak berselang lama gua tersebut dibangun kembali dan didalamnya ditempatkan patung Sam Po dengan empat anak buahnya yang didatangkan dari Tiongkok. Pada perayaan tahun 1724 tersebut telah ditambahkan bangunan emperan di depan gua.

Perayaan tahunan peringatan pendaratan Cheng Ho merupakan salah satu agenda utama di kota Semarang. Perayaan dimulai dengan upacara agama di kuil Tay Kak Sie, di Gang Lombok. Setelah itu kemudian dilanjutkan dengan arak-arakan patung Sam Po Kong di kuil Tay Kak Sie ke Gedong Batu. Patung tersebut kemudian diletakkan berdampingan dengan patung Sam Po Kong yang asli di Gedong Batu.

Tradisi unik ini bermula sejak pertengahan kedua abad ke-19. Pada masa itu, kawasan Simongan dikuasai oleh seorang tuan tanah yang tamak. Orang-orang yang hendak berkunjung ke kuil Sam Po Kong diharuskan membayar sejumlah uang yang harganya sangat mahal. Karena kebanyakan peziarah tidak mampu membayarnya, kegiatan pemujaan kemudian dialihkan ke kuil Tay Kak Sie. Sebuah replika patung Sam Po Kong kemudian dibuat dan diletakkan di dalam kuil Tay Kak Sie. Setiap tanggal 29 atau 30 bulan keenam menurut penanggalan Imlek Cina, patung duplikat tersebut diarak dari Tay Kak Sie ke Gedong Batu yang dimaksudkan agar patung replika tersebut mendapat berkah dari patung asli yang berada di dalam kuil Gedong Batu.

Pada tahun 1879 atau tahun kelima Guang Xu, kawasan Simongan dibeli oleh Oei Tjie Sien. Oei Tjie Sien merupakan ayah dari Oei Tiong Ham, penderma yang juga dikenal sebagai “Raja Gula†Indonesia. Sejak saat itu, para peziarah dapat bersembahyang di kuil Gedong Batu tanpa dipungut biaya apapun dan urusan pengurusan kuil diserahkan kepada Yayasan Sam Po Kong setempat. Pawai Sam Po Kong itu dihidupkan kembali pada tahun 1937 dan terus menjadi daya tarik hingga sekarang.