Das Customs House wurde auf dem Platz, an dem die First Fleet landete, erbaut. 145 Jahre lang war der Australische Zoll hier untergebracht. Seit der Zeit wurde das Customs House mehrere Male umgebaut. In einer Ausstellung im Customs House werden die einzelnen Phasen an einem beweglichen Modell plastisch dargestellt. Der Architekt James Barnet hat das Gebäude 1887 entworfen.

1998 wurde das Customs House nach umfangreichen Restaurationen wieder eröffnet. Wechselnde Ausstellungen zeigen die Architektur Sydneys und vieler anderer Städte im Wandel der Zeiten. Ganz besonders faszinierend ist ein Modell von Sydney im Maßstab 500:1.

Bei unserem Sydney-Aufenthalt im Dezember 2000 wurde eine Ausstellung über die Neugestaltung des Potsdamer Platzes in Berlin gezeigt.

Außerdem beherbergt das Customs House die Object Gallery (siehe auch Centre of Contemporary Craft), in der man zeitgenössische Handarbeiten und Kunstgegenstände kaufen kann.

Durch die Nähe zum Circular Quay wurde das Customs House auch zu einem beliebten Treffpunkt mit Cafés und Bars.