Du kan använda SET-delen av LOAD DATA INFILE, och du behöver inte 0x escape-grejer:
1, 1, 123456FF
2, 1, aabbcc
3, 1, ddeeff
Och sedan tilldelar du kolumnen till en variabel och ställer sedan in kolumnen till UNHEXed-versionen av den variabeln:
LOAD DATA INFILE 'file' INTO TABLE `table` (column1, column2, @var1)
SET column3 = UNHEX(@var1)