av någon anledning (kanske för att jag använder rubygems 1.3.7 eller installerar mysql-2.8.1)
sudo gem install mysql -- --with-mysql-config=/usr/local/mysql/bin/mysql_config
fungerade inte för mig så efter att ha tittat på gems/mysql-2.8.1/ext/mysql_api/extconf.rb fick jag reda på att extconf.rb letar i PATH för mysql_config så jag försökte
export PATH=$PATH:/usr/local/mysql/bin
sudo gem install mysql
och gjorde jobbet