Piąty album Madness pt. ‘Keep Moving’ został wydany w 1984 roku i uznano go za najbardziej wyszukanym ze wszystkich poprzednich albumów grupy. Na płycie Madness podejmuje tematy polityczne, ludzi bezdomnych oraz małżeńskich nadużyć. Album zawiera hit ‘Michael Caine’ oraz melancholijny utwór ‘One Better Day’. Bonusowe tracki zawierają parę miłosnych piosenek m.in ‘Wings Of A Dove’, ‘The Sun And The Rain’.