Du kan använda bokstavligt citat:
stmt := q'[insert into MY_TBL (Col) values('ER0002')]';
Dokumentation för bokstavliga ord finns här.
Alternativt kan du använda två citattecken för att beteckna ett enda citat:
stmt := 'insert into MY_TBL (Col) values(''ER0002'')';
Den bokstavliga citatmekanismen med Q-syntaxen är mer flexibel och läsbar, IMO.