TIOBE; defintion of rating index.

[GerritM]

A few days ago we discussed the "Programming Community Index" at
http://www.tiobe.com/tpci.htm . The main comment was that the measurement
was not described public and that verification was impossible. I have asked
TIOBE for clarification and they have responded quite quickly. To my
surprise it turns out that a former collegae of me has written the answer,
in Dutch. His original message is below. I have tried to translate his
message literally.

---begin translation---

Apologies for the late reaction, we have a busy company. Thanks for your
reaction and for posting in the Python Newsgroup. Probably you will remember
me from the NatLan <Philips Research laboratory in Eindhoven, the
Netherlands>

The TIOBE Programming Community Index was and is started as my personal
hobby> Differences in expresivenessand semantics always interested me.
Besides I wanted to know the relative popularity. I has to come with a
simple criterium to measure popularity.

The many reactions on tweakers.net (more than 10,000 hits) and the
discussion on the Python newsgroup (more than 2,000 hits) I concluded that
at least the following issues have to be clarified on our web site:

1 A clear definition of a programming language
2 Make public the criteria used for the index to guarantee the objectivity
and to stimulate discussion
3 Explain why the collection of assembly languages is not included.

In fact 1 and 2 are related. The criteria we use are quite simple. Take a
language related with computers and search in Google on +"<language>
programming". This results in all hits of pages where the publisher sees
this <language> as programming related. Python scores according to this
criterium today 1,8 (17.500 hits). Try it yourself. That is somewhat less
than the 17.800 hits of August 1st 2002. By the way Python ids increasing
strongly the last few months.

For XML the counter is 21.300. Apparantly more than 20,000 site owners think
that XML has to do something with programming, which is significantly more
than for instance people  relate COBOL to programming.

There is a lot of criticism possible on this simple method, but at least it
shows you a trend, if you do this a number of years. I challenge you to
invent better criteria for the TCPI, which can also be easily measured. Auke
van Balen <seniot scientist at FEI, Acht near Eindhoven, The Netherlands>
would like to open this discussion, may be we should take this up together.

Regards, also to the rest of the IST <Information and Software Technology
sector of Philips Research>.

Paul

PS You are free to publish this message (translated) in the newsgroup

---begin original message---
Hoi Gerrit,

Sorry voor de late reactie maar we hebben een druk bedrijf. Bedankt voor je
reactie in elk geval en het posten in de Python nieuwsgroep. Waarschijnlijk
kun je me nog herinneren van het NatLab.

De TIOBE Programming Community Index was en is eigenlijk gestart als een
persoonlijke hobby van me. Verschillen in uitdrukkingsvermogen en semantiek
in programmeertalen hebben me altijd al geinteresseerd. Daarnaast wilde ik
nu ook wel eens weten hoe de verhoudingen in populariteit lagen. Dus moest
ik een eenvoudig criterium verzinnen om de populariteit te meten.

Gezien de vele reacties op tweakers.net (meer dan 10,000 hits) en de
discussie in de Python nieuwsgroep (meer dan 2,000 hits) heb ik
geconcludeerd dat tenminste de volgende zaken verhelderd dienen te worden op
onze web site:

1. Een duidelijke definitie geven van wat onder programmeertaal wordt
verstaan;
2. De criteria die wij hanteren voor de index te openbaren zodat de
objectiviteit is gewaarborgd en er meer discussie kan ontstaan;
3. Uitleggen waarom een samenraapsel als assembler niet meedoet.

Eigenlijk hebben 1 en 2 veel met elkaar te maken. Het criterium dat wij
hanteren is heel simpel. Neem een taal die met computers heeft te maken en
zoek in Google op +"<taal> programming". Je krijgt dan alle hits van
pagina's waarvan de publisher die <taal> als gerelateerd aan programming
ziet. Python scoort volgens dit criteriun vandaag 1,8 (17.500 hits). Probeer
het zelf maar. Dat is iets minder dan de 17.800 hits van 1 augustus jl.
Python is overigens de laatste paar maanden behoorlijk flink aan het
stijgen.

Voor XML staat de teller op 21.300. Blijkbaar zijn er toch wereldwijd
minstens 20.000 site eigenaren die denken dat XML iets met programmeren
heeft te maken en dat is aanzienlijk meer dan dat mensen bijvoorbeeld COBOL
relateren aan programmeren.

Er kan veel op deze eenvoudige methode worden aangemerkt, maar het laat in
elk geval een trend zien indien je dit een aantal jaren volhoudt. Ik daag je
uit om betere criteria te vinden voor TPCI die wel nog eenvoudig te meten
zijn. Auke van Balen wilde deze discussie ook wel eens aan, misschien moet
we deze draad maar eens oppakken.

Groeten, ook aan de rest van het IST,

Paul

PS Je bent vrij om deze mail (vertaald) in de nieuwsgroep te publiceren.

---end original message---

--
www.extra.research.philips.com/natlab/sysarch/