1623年德川家光为出任第三代将军前往京都。听秋阁便在这时建于京都的二条城中，据说后来被送给了他的乳母春日局。1922年移建于三溪园，以此为标志，三溪园的整体建筑完成。 三个房檐组成独特形状，原三溪在建筑的名称中加入一个“秋”字，将此地变为赏枫景点。木板砖铺成的低一阶正门入口，想必是为了乘船游览的人从水边直接进入听秋阁的空间。