[Python-es] Importar grandes ficheros txt

[Pavel Stephan Muñoz]

Me extraña un poco que una máquina con 32GB de RAM tenga problemas con un
fichero de 1GB.

Qué posibilidades tienes de dividir el fichero en varios más pequeños? Como
con el comando split de unix/linux
https://www.computerhope.com/unix/usplit.htm

Saludos,
Pavel Muñoz

El 19 de diciembre de 2017, 16:43, LA REPISA <larepisa en gmail.com> escribió:

> Gracias, es un fichero de más de 1 GB. Son más de 5 millones de registros
> con 34 variables...
>
> Parece que le cuesta con el chunk. La verdad que necesito trabajar con ese
> tipo de ficheros y python me gusta, pero creo que me voy a tener que
> cambiar de Software. Una pena.
>
> Gracias de nuevo
>
> Enviado desde mi iPhone
>
> El 19 dic 2017, a las 16:32, Pavel Stephan Muñoz <minibota en gmail.com>
> escribió:
>
> Hola.
>
> Y qué tamaño tiene el fichero?
> Con Pandas podrías intentar leyéndolo parte por parte utilizando el
> parámetro chunksize de la función read_table:
>
> pd.read_table('tmp.sv', sep=';', chunksize=100)
>
> A lo mejor y esto ayuda. Más info acá:
> http://pandas-docs.github.io/pandas-docs-travis/io.html#
> iterating-through-files-chunk-by-chunk
>
> Saludos,
> Pavel Muñoz
>
>
>
> El 19 de diciembre de 2017, 16:17, LA REPISA <larepisa en gmail.com>
> escribió:
>
>> Buenas tardes,
>>
>> Tengo un fichero plano cuyos campos están separados por ‘;’, cópo puedo
>> importarlo a un dataframe de Python. Al intentar importarlo me devuelve
>> “python no responde”, la máquina se queda sin recursos (es una máquina con
>> 32 GB de memoria RAM)
>>
>> Mil gracias
>> _______________________________________________
>> Python-es mailing list
>> Python-es en python.org
>> https://mail.python.org/mailman/listinfo/python-es
>>
>
>
>
> --
> *Pavel Stephan Muñoz*
>
> _______________________________________________
> Python-es mailing list
> Python-es en python.org
> https://mail.python.org/mailman/listinfo/python-es
>
>
> _______________________________________________
> Python-es mailing list
> Python-es en python.org
> https://mail.python.org/mailman/listinfo/python-es
>
>


-- 
*Pavel Stephan Muñoz*
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://mail.python.org/pipermail/python-es/attachments/20171219/96d22dcd/attachment.html>