sql >> Databasteknik >  >> RDS >> Mysql

Python Scrapy - fyll i start_urls från mysql

Ett bättre tillvägagångssätt är att åsidosätta start_requests metod.

Detta kan fråga din databas, ungefär som populate_start_urls , och returnera en sekvens av Begäran objekt.

Du behöver bara byta namn på dina populate_start_urls metod för att start_requests och ändra följande rader:

for row in rows:
    yield self.make_requests_from_url(row[0])


  1. Mysql Nested Select

  2. Välj * från tabell1 som inte finns i tabell2 med villkorlig

  3. PHP MySQLi hämta array push åsidosätter data

  4. Ordnar "Välj" alltid efter primärnyckel?