Todo buen cadista ha oído hablar alguna vez de la gesta que el equipo logró el 24 de mayo de 1981, cuando el conjunto gaditano consiguió el ascenso a Primera en el campo del Elche. Al equipo local solo le faltaba un punto para subir, pero el equipo amarillo vencería finalmente en un campo abarrotado ante todo pronóstico.
El periplo del Cádiz CF en la máxima categoría fue efímero y solo duró un año, ya en la temporada 82/83, con el equipo en Segunda, el presidente Irigoyen siguió confiando en el mismo entrenador y gran parte de la plantilla para devolver al equipo a Primera. Ésta sería la campaña de la aparición del ídolo más grande de la afición cadista, el salvadoreño Jorge Alberto Gónzalez Barillas, "Mágico" González.
La liga empezaba muy mal y tras las primeras ocho jornadas, el Cádiz CF nada más había ganado un partido. La primera vuelta se acabó en el puesto 13º de la clasificación y el entrenador y la plantilla muy cuestionados. En la segunda vuelta se conseguiría revertir la situación y en el sprint final el equipo ganaba cuatro partidos seguidos antes de la jornada decisiva.
Los de la Tacita de Plata llegaban a la última jornada jugándose el ascenso de nuevo ante el equipo ilicitano, como sucedía dos años atrás, pero esta vez como anfitrión en el Ramón de Carranza. El Elche tenía una oportunidad de oro para vengarse, pero los jugadores entrenados por Milosevic no dejaron ninguna opción a su rival y lo machacaron al descanso. El resultado final era de 3-1 con dos goles marcados por Pepe Mejías y uno de "Mágico" González. Se consumaba así el tercer ascenso del Cádiz CF a la división de honor del fútbol nacional y la celebración por las calles de Cádiz fue apoteósica.