Jag stötte på samma problem på Heroku med CloudAMQP. Jag vet inte varför, men jag hade ingen tur när jag tilldelade låga heltal till BROKER_POOL_LIMIT inställning.
Till slut upptäckte jag det genom att ställa in BROKER_POOL_LIMIT=None eller BROKER_POOL_LIMIT=0 mitt problem mildrades. Enligt Celery-dokumenten inaktiverar detta anslutningspoolen. Hittills har detta inte varit ett märkbart problem för mig, men jag är inte säker på om det kan vara något för dig.
Länk till relevant information:https://celery.readthedocs.org/en/latest/configuration.html#broker-pool-limit