El edificio donde se ubica el Palacio de Congresos de Cádiz desde hace cerca de tres décadas, fue durante cerca de dos siglos sede de la Fábrica de Tabacos. Allí se ubico en la década de los años 20 del siglo XIX, ocupando el edificio utilizado como alhóndiga de la ciudad, la zona de mercado relacionado con los negocios mercantiles que sostenían a buena parte de las familias gaditanas.

Tras cerrarse el edificio, para su traslado a una moderna fábrica en la Zona Franca, también clausurada años más tarde, se plantearon diversos usos para el edificio, a fin de evitar que un cierre indefinido del mismo acabase provocando su ruina.

Una de las posibilidades que se barajó fue la instalación en el mismo de un centro comercial de El Corte Inglés. La gran cadena nacional llevaba años estudiando su instalación en Cádiz capital. Los datos de la compañía destacaban la conexión de esta marca con el cliente gaditano, que se veía obligado a acudir a El Corte Inglés de la plaza del Duque en Sevilla (donde cada 7 de octubre, festividad de la patrona gaditana, se le daba la bienvenida a los clientes procedentes de nuestra ciudad).

El principal problema que tenía esta propuesta era la necesidad de habilitar aparcamientos, esenciales para mejorar el acceso al centro comercial. Antes de ubicarse en el nuevo barrio de Astilleros, a pie de puente de la Constitución de 1812, se estudió también un solar de un amplio chalé existente en la Avenida, frente al colegio de San Felipe Neri.

El Ayuntamiento llegó a ofrecer también la vieja fábrica como sede de la Facultad de Derecho de la UCA. Las instalaciones de esta en Jerez de la Frontera se encontraban en precario estado, por lo que el gobierno municipal presidido por Carlos Díaz ofreció este edificio para la Universidad.

También fue peculiar el uso que se le dio a la fábrica durante unas navidades a principios de la década de los años 90, cuando Radio Cádiz instaló allí un parque de juegos que tuvo gran éxito.