Tyvärr är det du ber om att göra inte möjligt med Eloquent.
Den ivriga laddningsfrågan är helt skild från den initiala frågan så alla värden som hämtas är inte längre tillgängliga.
Dina alternativ är att antingen göra en join i din begränsning (som du angav kanske inte fungerar), eller ladda alla relaterade modeller och sedan sortera/filtrera dem med PHP istället.