Jag hittade lösningen.
Med en UPDATE fråga vi kan hämta det ursprungliga värdet från databasen, casta det till int igen, hex och unhex det (kan detta förkortas ytterligare?) och vi får rätt binära värde i databasen.
UPDATE table SET ip = UNHEX(HEX(CAST(ip AS UNSIGNED)))