Il Palazzo dei Marchesi Venusio ha origini che risalgono al Medioevo, più precisamente nel periodo del normanno Tommaso da Frassineto (XI-XII sec.), primo dominus di Turi. Il Castello si ampliò con gli Svevi e gli Angioini, ma probabilmente solo con l'insediamento, nel 1547, del nuovo feudatario Francesco Moles (originario di Gerona, Spagna), l'edificio dovette assumere le fattezze di una fortezza-palazzo, con nuove torri e nuovi corpi di fabbrica.
Nella seconda metà del 1700, il passaggio del feudo dai Moles a Ottavio Venusio di Matera, comportò una profonda trasformazione del palazzo che venne in parte demolito per assumere l'aspetto di fastosa dimora barocca che ancora oggi possiamo ammirare, con il monumentale ingresso nella bella piazza cap. Colapietro, le balconate, i finestroni e le artistiche ringhiere. Negli ultimi anni del '900 la dimora feudale, fatta oggetto di ampi lavori di restauro, è stata destinata a struttura turistico-alberghiera.
Le informazioni storico-artistiche sono tratte da «sulletracce», quaderni del Centro Studi di Storia e Cultura di Turi.