Från felet du postade skulle jag gissa att du har någon form av saknad mysql-beroende.
_mysql.c:44:10: fatal error: my_config.h: No such file or directory
44 | #include "my_config.h"
| ^~~~~~~~~~~~~
Tittar på github-sidan för mysqlclient kanske du kan prova att köra:
sudo apt-get install python3-dev default-libmysqlclient-dev build-essential
Enligt min erfarenhet saknas en .h fil betyder i allmänhet att det saknas ett utvecklingsbibliotek på din dator som python-tillägget behöver