Jag stötte på samma problem när jag installerade mysql2-0.3.21 på Mac pro.
Nedan nämnda lösning fungerade för mig (kör nedan nämnda 3 kommandon i terminalen som pekar på din projektmapp):
brew install mysql
gem install mysql2 -v '0.3.21' -- --srcdir=/usr/local/mysql/include
bundle install