Reaction from TIOBE (was Python use growing or shrinking)

[GerritM]

Some time ago we also had a discussion about the meaning of the TCPI on
(http://www.tiobe.com/tpci.htm) . To prevent too much speculation I mailed
with Paul Jansen, from Tiobe. I have included the original explanation at
the bottom.

This time I notified Paul that a new discussion was going on again. I asked
what he changed in the mean time. Below is a free translation of his answer:
---translated answer---
Hoi Gerrit, thanks for your e-mail.

You are entirely right that we need to publish the algorithm as soon as
possible. At this moment the TCPI is extremely popular (for example
yesterday we had 10157 hits on our site). This also has disadvantages. The
Smalltalk community is firing me with angry e-mails, why is their nice
language not mentioned. They don't accept position 28.

Since our previous discussion I have collected more data, which makes the
results more balanced. This also resulted in the A and B status for
programming languages. In principle all generic and specific programming
language pages are added together. If a programming language is below 0.1%
than it gets status B. When I have collected sufficient data I can also
determine how much the growth of a language depends on the number of pages
provided by Google. At this moment all languages grow, which is not
realistic.

I also worked on removing false positives. RPG for instance also appears to
be popular for "Role Play Game". I want to present the long term trends
graphical from February 1.

Finally I would like to spend more time on the TPC index, but we have to
earn money at TIOBE. The fact that we increasd the company size from 2 to 4
employees increases the workload even more. But I will do the best I can.

Regards Gerrit

---end translation---
---original Dutch message---

Hoi, Gerrit,
Bedankt voor je mail!

Je hebt helemaal gelijk dat er zo snel mogelijk een publicatie over het
algorithme moet plaatsvinden. Op dit moment is de TPCI razend populair
(gisteren bijvoorbeeld hadden we 10157 hits op onze website). Dit heeft ook
zo'n z'n nadelen. De Smalltalk community bekogelt me met boze mails waarom
ze niet genoemd worden want het is toch zo'n mooie taal. Ze nemen geen
genoegen met plaats nummer 28.

Ik ben sinds onze vorige discussie meer data aan het verzamelen waardoor de
uitkomsten meer gebalanceerd zijn. Dit heeft ook geleid tot de invoering van
een status A en een status B voor talen. In principe worden alle generieke
en specifieke programmeertaal pagina's bij elkaar opgeteld en als een
programmeertaal dan op minder dan 0.1% van het geheel voorkomt, is deze
status B. Als ik voldoende data heb verzameld kan ik ook zien hoeveel groei
van een taal afhangt van het feit dat Google gewoon meer pagina's
beschikbaar stelt. Nu groeit bijvoorbeeld elke taal en dat is niet
realistisch.

Verder is er nog aan gewerkt om false positives eruit te werken. RPG schijnt
bijvoorbeeld ook voor het populaire "Role Play Game" te staan. Verder wil ik
vanaf 1 februari ook langere termijn trends laten zien aan de hand van een
grafisch overzicht.

Tot slot, ik vind het ook jammer dat ik niet meer aandacht aan de TPC index
kan besteden, maar we moeten ook gewoon geld met TIOBE verdienen. Het feit
dat we de afgelopen maanden van 2 naar 4 medewerkers zijn uitgebreid
betekent nog eens extra drukte. Maar ik ga m'n best doen!

Groeten,

Paul

---end message in Dutch---

---original message/explanation----
A few days ago we discussed the "Programming Community Index" at
http://www.tiobe.com/tpci.htm . The main comment was that the measurement
was not described public and that verification was impossible. I have asked
TIOBE for clarification and they have responded quite quickly. To my
surprise it turns out that a former collegae of me has written the answer,
in Dutch. His original message is below. I have tried to translate his
message literally.

---begin translation---

Apologies for the late reaction, we have a busy company. Thanks for your
reaction and for posting in the Python Newsgroup. Probably you will remember
me from the NatLan <Philips Research laboratory in Eindhoven, the
Netherlands>

The TIOBE Programming Community Index was and is started as my personal
hobby> Differences in expresivenessand semantics always interested me.
Besides I wanted to know the relative popularity. I has to come with a
simple criterium to measure popularity.

The many reactions on tweakers.net (more than 10,000 hits) and the
discussion on the Python newsgroup (more than 2,000 hits) I concluded that
at least the following issues have to be clarified on our web site:

1 A clear definition of a programming language
2 Make public the criteria used for the index to guarantee the objectivity
and to stimulate discussion
3 Explain why the collection of assembly languages is not included.

In fact 1 and 2 are related. The criteria we use are quite simple. Take a
language related with computers and search in Google on +"<language>
programming". This results in all hits of pages where the publisher sees
this <language> as programming related. Python scores according to this
criterium today 1,8 (17.500 hits). Try it yourself. That is somewhat less
than the 17.800 hits of August 1st 2002. By the way Python ids increasing
strongly the last few months.

For XML the counter is 21.300. Apparantly more than 20,000 site owners think
that XML has to do something with programming, which is significantly more
than for instance people  relate COBOL to programming.

There is a lot of criticism possible on this simple method, but at least it
shows you a trend, if you do this a number of years. I challenge you to
invent better criteria for the TCPI, which can also be easily measured. Auke
Jilderda (from Philips Research)
would like to open this discussion, may be we should take this up together.

Regards, also to the rest of the IST <Information and Software Technology
sector of Philips Research>.

Paul

PS You are free to publish this message (translated) in the newsgroup

---begin original message---
Hoi Gerrit,

Sorry voor de late reactie maar we hebben een druk bedrijf. Bedankt voor je
reactie in elk geval en het posten in de Python nieuwsgroep. Waarschijnlijk
kun je me nog herinneren van het NatLab.

De TIOBE Programming Community Index was en is eigenlijk gestart als een
persoonlijke hobby van me. Verschillen in uitdrukkingsvermogen en semantiek
in programmeertalen hebben me altijd al geinteresseerd. Daarnaast wilde ik
nu ook wel eens weten hoe de verhoudingen in populariteit lagen. Dus moest
ik een eenvoudig criterium verzinnen om de populariteit te meten.

Gezien de vele reacties op tweakers.net (meer dan 10,000 hits) en de
discussie in de Python nieuwsgroep (meer dan 2,000 hits) heb ik
geconcludeerd dat tenminste de volgende zaken verhelderd dienen te worden op
onze web site:

1. Een duidelijke definitie geven van wat onder programmeertaal wordt
verstaan;
2. De criteria die wij hanteren voor de index te openbaren zodat de
objectiviteit is gewaarborgd en er meer discussie kan ontstaan;
3. Uitleggen waarom een samenraapsel als assembler niet meedoet.

Eigenlijk hebben 1 en 2 veel met elkaar te maken. Het criterium dat wij
hanteren is heel simpel. Neem een taal die met computers heeft te maken en
zoek in Google op +"<taal> programming". Je krijgt dan alle hits van
pagina's waarvan de publisher die <taal> als gerelateerd aan programming
ziet. Python scoort volgens dit criteriun vandaag 1,8 (17.500 hits). Probeer
het zelf maar. Dat is iets minder dan de 17.800 hits van 1 augustus jl.
Python is overigens de laatste paar maanden behoorlijk flink aan het
stijgen.

Voor XML staat de teller op 21.300. Blijkbaar zijn er toch wereldwijd
minstens 20.000 site eigenaren die denken dat XML iets met programmeren
heeft te maken en dat is aanzienlijk meer dan dat mensen bijvoorbeeld COBOL
relateren aan programmeren.

Er kan veel op deze eenvoudige methode worden aangemerkt, maar het laat in
elk geval een trend zien indien je dit een aantal jaren volhoudt. Ik daag je
uit om betere criteria te vinden voor TPCI die wel nog eenvoudig te meten
zijn. Auke van Balen wilde deze discussie ook wel eens aan, misschien moet
we deze draad maar eens oppakken.

Groeten, ook aan de rest van het IST,

Paul

PS Je bent vrij om deze mail (vertaald) in de nieuwsgroep te publiceren.

---end original message---

--
www.extra.research.philips.com/natlab/sysarch/



--
www.extra.research.philips.com/natlab/sysarch/