robots en python

[Jordi Funollet]

Un bot carga un servidor web mucho más que los visitantes humanos. Por ello 
los bots procuran respetar ciertas normas de "educación", para no causar 
problemas a las webs que visitan.

Aquí encontrarás bastante información:

	http://www.robotstxt.org/wc/robots.html

De todas formas, el código que nos has pegado no parece que pueda crear 
problemas. Supongo que es solo una parte de tu bot, ¿verdad?

-- 
##############################
### Jordi Funollet
### http://www.terraquis.net