Eftersom \-tecknet används av LIKE-operatorn själv måste du dubbla det när du använder det för att undvika ett annat tecken som dubbla citattecken.
SELECT * FROM table_name WHERE column_name LIKE "%\\"%";
borde fungera för dig.
liksom att byta ut de dubbla citattecken för enkla citattecken för att omsluta den bokstavliga
SELECT * FROM table_name WHERE column_name LIKE '%"%';
som du skrev här