[Python-es] Scraping con scrapy.

[Luis Miguel Morillas]

Yo necesito que cada vez que se suministra una url, se vuelva a
parsear la página, porque la información es dinámica (precios de venta
o alquileres)

Saludos,

-- luismiguel  (@lmorillas)


El día 19 de mayo de 2014, 12:50, Alex Parra <parraletz en gmail.com> escribió:
> Hola, lo que te recomiendo es almacenarlo en alguna base de datos, yo lo almaceno en un mongodb y así no estoy ejecutando scrapy a cada rato :-), de la base sacó las consultas.
>
> Sent from my iPhone
>
>> On May 19, 2014, at 4:45 AM, Luis Miguel Morillas <morillas en gmail.com> wrote:
>>
>> Alguien ha usado scrapy para hacer un servicio de scraping?  Quiero
>> montar un servicio (REST) basado en scrapy, pero por defecto scrapy
>> procesa una cola de urls y termina y no creo que sea buena idea
>> levantar la aplicación cada vez que llega una url. Me gustaría que la
>> cola estuviera escuchando, procesara la cola y en lugar de esperar que
>> se quedara esperando a recibir una nueva entrada.
>>
>> Supongo que se podrá hacer mirando a fondo la arquitectura (twisted)
>> de scrapy ... pero si alguno lo ha hecho antes :)
>>
>>
>>
>> Saludos,
>>
>> -- luismiguel  (@lmorillas)
>> _______________________________________________
>> Python-es mailing list
>> Python-es en python.org
>> https://mail.python.org/mailman/listinfo/python-es
>> FAQ: http://python-es-faq.wikidot.com/
> _______________________________________________
> Python-es mailing list
> Python-es en python.org
> https://mail.python.org/mailman/listinfo/python-es
> FAQ: http://python-es-faq.wikidot.com/