SQL självansluter för att returnera specifika rader

SELECT  mm.*, md.label AS standardized_label
FROM    mytable md
LEFT JOIN
        mytable mc
ON      mc.parent_element = md.id
        AND mc.client = @client
JOIN    mytable mm
ON      mm.id = COALESCE(mc.id, md.id)
WHERE   md.client IS NULL

Skapa ett index på (client, parent_element) för att detta ska fungera snabbt.

Se SQLFiddle .