Om du stöter på det här felet igen efter att ha uppgraderat till 12.04 (eller för personer som kommer hit efter att ha googlat på sidans titel efter att ha uppgraderat till 12.04), fungerade följande för mig:
gem uninstall mysql2
gem install mysql2
Detta kommer att kompilera om pärlan med libmysqlclient18, och fungerade för mig.
Hoppas det hjälper någon där ute.