Metoden AverageRating är inte en relation och du kan inte använda den som relation. Om du vill ha medelbetyg ställer du in medelRating till bifogade attribut.
Course.php:
protected $appends = [
'average-rating'
];
function getAverageRatingAttribute(){
return round($this->rating()->avg('ratings'),1);
}