Python para altos volúmenes de datos

[Francesc Altet]

A Dimarts 31 Maig 2005 19:02, Cesar Cardenas Desales va escriure:
>    Estoy muy próximo a iniciar un nuevo proyecto,
> donde una de los pocas cosas ciertas que hay es que la
> carga de datos será muy grande: es un proyecto a nivel
> nacional(México) para la evaluación de varios aspectos
> del sistema educativo. Como consecuencia estoy
> previendo tener una gran cantidad de datos
> provenientes de los varios millones de niños y
> profesores que se evaluarán constantemente.

Por qué no haces unas pruebas primero?. Mi experiencia es que tanto
MySQL como SQLite te pueden soportar esos volúmenes sin demasiados
problemas (depende de lo que quieras hacer, claro). Si tienes tablas
*realmente* grandes puedes usar PyTables para apoyarte. Una
combinación SQLite/PyTables suele dar excelentes resultados.

>    ¿Alguien ustedes utiliza o ha escuchado de alguien
> que utilice python para grandes volúmenes de datos?
> ¿Deberé volver nuevamente a Java con la cola entre las
> patas? ¿Podré confiar en mod_python para la parte de
> Web? ¿Servlets en Jython serán una mejor opción que
> mod_python? ¿Scipy y Numpy podrían salvar mi orgullo
> de Pythonista?

Yo diria que un uso racional de las herramientas arriba descritas +
Numpy (o numarray) + SciPy + matplotlib es uno de los mejores caminos.
Mira [2, 3, 4] para unas presentaciones acerca de esto. Mira también
[5,6] para aplicaciones práticas.

[1] http://pytables.sourceforge.net
[2] http://www.scipy.org/wikis/scipy04/presentations2004/scipy04_ipython.pdf
[3] 
http://www.scipy.org/wikis/scipy04/presentations2004/presentation_alted.pdf
[4] 
http://www.scipy.org/wikis/scipy04/presentations2004/scipy04_jhunter_sh.pdf
[5] http://pytables.sourceforge.net/doc/taller-sf1-color.pdf
[6] http://pytables.sourceforge.net/doc/taller-sf2-color.pdf

Suerte!

-- 
>0,0<   Francesc Altet     http://www.carabos.com/
V   V   Cárabos Coop. V.   Enjoy Data
 "-"