L’area circostante la chiesa di San Martino presenta una serie di importanti palazzi e case-forti appartenute ad alcune delle più nobili famiglie astigiane. All’angolo sud-est tra via San Martino e via Sella si può notare una imponente torre medievale, mozzata a piano inclinato, inserita all’interno di un bel palazzo barocco. Si tratta dei resti di quella che era la residenza patrizia della famiglia dei Ponte, nobile famiglia guelfa attestabile intorno alla fine del XIII secolo. Ed è proprio a quel periodo che si fa risalire la costruzione del complesso degli edifici e della torre. La torre è una bell’esempio di costruzione del secondo periodo, imponente e con muri massicci larghi 8,10 metri e spessi 1,60, e nessuna decorazione, ad eccezione di una finestra ogivale sul lato sud con l’arco decorato in cotto e arenaria. In origine doveva avere un’altezza di circa 36 metri. Venne mozzata probabilmente verso la fine del XVII secolo. Degli edifici medievali, che occupavano un’ampia area dell’isolato, rimangono poche tracce. Parti dell’area vennero cedute finché nel XVII secolo la zona patrizia del complesso passò alla famiglia dei Cotti Ceres che affidarono il restauro del palazzo a Benedetto Alfieri. Intorno al 1841 il palazzo cambiò di nuovo proprietario, finendo tra le proprietà della famiglia Gazzelli di Rossana, che la mantengono ancora oggi.