python-rq worker stängs automatiskt

Okej, jag kom på problemet. Det var på grund av timeout för arbetare.

try:
  --my code goes here--
except Exception, ex:
  self.error += 1
  with open("error.txt", "a") as myfile:
     myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url))
  pass

Så enligt min kod läggs nästa domän i kö om 200 url(ar) hämtas från varje domän. Men för vissa domäner fanns det inte tillräckligt många webbadresser för att villkoret skulle avslutas (som bara 1 eller 2 webbadresser).

Eftersom koden fångar alla undantag och läggs till error.txt fil. Även undantaget rq timeout rq.timeouts.JobTimeoutException fångades och lades till akten. På så sätt får arbetaren att vänta på x tid, vilket leder till uppsägning av arbetstagaren.