1623年德川家光為出任第三代將軍前往京都。聽秋閣便在這時建於京都的二條城中，據說後來被送給了他的乳母春日局。1922年移建於三溪園，以此為標誌，三溪園的整體建築完成。 三個房簷組成獨特形狀，原三溪在建築的名稱中加入一個＂秋＂字，將此地變為賞楓景點。木板磚鋪成的低一階正門入口，想必是為了乘船遊覽的人從水邊直接進入聽秋閣的空間。