Ja, det är möjligt, du måste läsa data från CSV-filerna med CSV-modulen.
https://docs.python.org/library/csv.html
Och injicera data med Python MySQL-bindning. Här är en bra starthandledning:
https://zetcode.com/databases/mysqlpythontutorial/
Om du redan kan python blir det enkelt