[Python-de] Extension

[Stefan Behnel]

Bernd Nawothnig, 27.03.2012 20:29:
> On 2012-03-27, Stefan Behnel wrote:
>> Bernd Nawothnig, 27.03.2012 17:03:
>>> Ein Pythonprogramm ruft eine in C geschriebene Extension mit einem
>>> Parameter auf, der aus einer in ein numpy.array konvertierten
>>> Python-Liste von Objekten besteht. Das C-Programm nutzt dazu einen
>>> Zeiger auf dieses nun eng gepackte Array von Zeigern und wählt durch
>>> einen geeigneten Algorithmus aus dieser Objektmenge einige aus, die
>>> nun in eine Python-Liste von Python-Listen von Objekten gekapselt
>>> zurückgegeben werden. Freigegeben oder verändert wird keines der beim
>>> Aufruf der Extension übergebenen Objekte. Die Python-Ergebnisliste
>>> wird in C so konstruiert:
>>> ...
>>> PyObject *r = PyList_New(0);
>>> ...
>>> static PyObject *VLP_asPyList(VectorlistP *vl)
>>> {
>>>     PyObject *result = PyList_New(vl->length);
>>>     int i;
>>>
>>>     for (i=0; i<vl->length; i++)
>>>       PyList_SetItem(result, i, Py_BuildValue("O", vl->list[i]->anomaly));
>>> //                                                 ^^^^^^^^^^^^^^^^^^^^
>>> //                         Zeiger auf eins der ursprünglichen Objekte
>>>     return result;
>>> }
>>> ...
>>> PyList_Append(r, VLP_asPyList(&bestResult));
>>
>> Hier war ein "extend()" gemeint, oder?
> 
> Nein, ein PyList_Append, also entsprechend einem python <list>.append().
> 
>>> return r;
>>
>> Zum Vergleich der (mangels umgebendem Code und Daten natürlich ungetestete)
>> äquivalente Code in Cython:
>>
>>   return [ item.anomaly for item in bestResult.list[:bestResult.length] ]
>>
>> Finde ich hübscher und übersichtlicher.
> 
> Im reinen C-Teil verwende ich ja absichtlich _nicht_ die
> Python-Datenstrukturen

Hatte ich auch so verstanden. Der Code oben (deiner und meiner) dient nur
der Konvertierung des Ergebnisses von C nach Python.

Der Code, den Cython generiert, hat nur minimal höheren Aufwand als dein
handgeschriebener - er erzeugt die ursprüngliche Liste nämlich momentan
nicht mit der finalen Länge. Und das auch nur deshalb, weil ich immer noch
keine Zeit gefunden habe, die bekannte Länge der Ergebnisliste aus dem
Iterator durchzuschleifen. Sprich: mit ein bisschen zusätzlichem Aufwand
würde Cython sogar identischen Code generieren, ohne deinen ganzen C
Eiertanz oben.

Allerdings würde es mich überraschen, wenn der Geschwindigkeitsunterschied
jetzt schon sehr auffällig wäre. Der eher meistens vernachlässigbar, weil
die Konvertierung der Listeneinträge normalerweise deutlich stärker zu
Buche schlägt als die Vergößerung der Liste, die meistens ohnehin von der
Speicherverwaltung aufgefangen wird.


>, weil ich eben schneller werden will (was auch
> weit über alle Erwartungen geklappt hat ;-). Gerade die dauernden
> appends, bzw. auch Listcomprehensions, wie Du sie erwähntest (ich
> weiß, die sind sehr elegant und ich verwende die auch sehr gerne),
> holen sich jedes Mal Speicher vom Heap, der praktisch dann gleich
> wieder freigegeben werden kann

Äh, bitte wie? Warum sollten sie das denn tun?


> während der mir sehr wohl bekannte
> wirkliche Speicherverbrauch dieses Algorithmus _sehr_ überschaubar
> ist. Entsprechend dramatisch war dann auch der Speedup (mehr als
> Faktor 1000).

Aber nur gegenüber CPython, richtig?


> static PyObject *VLP_asPyList(VectorlistP *vl)
> 
> macht aus meiner C-Variante ganz zum Schluss erst(!) Python, weil ich
> das Resultat ja schließlich und letztendlich in Python haben möchte.

Ja, das ist das übliche Vorgehen. Deshalb haben wir uns mit unseren beiden
Implementierungen ja auch auf den Teil beschränkt.


> Aber viel mehr würde mich interessieren, ob PyList_SetItem und
> PyList_Append automatisch den Referenzzähler der eingefügten, bzw.
> zugewiesenen Objekte erhöhen.

Schau in die Doku (wie Dietmar es für dich getan hat). Unnötig zu sagen,
dass Cython dir diese Details abnimmt.

Stefan