Jag stötte på det här problemet med en debianbehållare. Det som fixade det var att installera varje paket med separata kommandon. Så istället för
RUN apt-get install -y python-pip libmysqlclient-dev
gör
RUN apt-get install -y python-pip
RUN apt-get install -y libmysqlclient-dev