Comparando USP e Stanford

Comparando USP e Stanford em termos de produção científica e investimentos

Foi recentemente publicado um editorial da “Folha de S. Paulo” (21/12/2010) na qual se mostra a posição da Universidade de São Paulo (USP) em relação  às melhores universidades mundiais no ranking Times Higher Education (THE). A posição da USP é lastimável, abaixo da posição 200. Um dos pontos  levantado foi a diferença de financiamento, a USP recebe, por exemplo, muito menos verba de pesquisa que Harvard. Neste sentido se tenta explicar o fracasso da USP nessa classificação pela falta de verbas. Uma coisa que me chamou atenção no editorial da Folha foi a comparação com Stanford, que recebe uma quantia de verbas similar na mesma ordem de grandeza que as universidades estaduais paulistas (R$ 301 milhões, no caso de Stanford), e que se posicionou muito melhor no ranking  THE (4º lugar).

Neste sentido, resolvi fazer uma análise cientométrica comparativa entre USP e Stanford utilizando o “Web of Science”, na qual apenas considerei “articles”, “reviews”, “letters” e “editorials”, que são os mais relevantes meios de divulgação científica. A coleta de dados continha citações até 23/12/2010.

Resolvi olhar para as publicações e citações entre 2002 e 2009. A primeira observação curiosa é que o número de publicações da USP dá um grande salto nesse período, quanto que os de Stanford mantêm um crescimento constante. Por exemplo, em 2002 a USP publicou 2.531 artigos, enquanto que Stanford publicou 4.565 artigos. Em 2004 a USP cresceu para 3.186 artigos (aumento de 26%), enquanto Stanford publicou 5.152 (salto de 13%). O ano de 2004 marca uma política muito agressiva de publicações por parte do Brasil, com novas diretrizes da Capes, afetando assim a velocidade de publicações nos anos seguintes. Vemos, nesse sentido, que em 2006, a produção da USP já tinha crescido para 4.061 artigos (27% de aumento em relação a 2004) e para 6.162 artigos em 2008 (52% a mais que em 2004). Stanford manteve, de forma geral, sua taxa de crescimento em 2006 (5% em relação a 2004) em 2008 (15% em relação a 2006). Em 2009 a USP ultrapassou Stanford no número de artigos: 6.577 versus 6.320. O crescimento da USP em termos de artigos por ano, entre 2002 e 2009 foi de 160%, enquanto que Stanford foi de apenas 38%. O gráfico com o crescimento de publicações de cada universidade pode ser observado aqui. http://3.bp.blogspot.com/_E8A1LD-hroc/TRSWgyg9cSI/AAAAAAAAKwA/DWXk_3DxPRk/s1600/papers%2Busp.png

Produzir artigos científicos requer investimentos financeiros, apoio institucional, assim como pessoal treinado. O número de professores da USP neste período aumentou muito pouco, mas o de alunos de doutorado – a principal mão-de-obra da ciência nacional – foi muito grande (mais de 100%). Assim, com esta mão-de-obra a mais, se pôde aumentar em 160% o número de trabalhos publicados por ano entre 2002 e 2009. Entretanto, a produção dos artigos depende muito da capacidade de organizar times de trabalho, seja com os próprios alunos de pós-graduação da USP ou em colaborações com outras universidades e centros de pesquisa. Porem, a capacidade de expandir a produção com qualidade tem um limite que é estabelecido por cada autor principal desses estudos – são os “limites mentais”. Assim, quando se aumentou muito rapidamente a produção de artigos, em especial entre 2004 e 2008 (que foi de 93%; Stanford no mesmo período aumentou sua produção em 21%), não se pôde gastar o tempo necessário para o desenvolvimento de pesquisas completas e mais desafiantes. Neste sentido, poderia se esperar uma queda na qualidade da produção de artigos da USP em paralelo com o grande aumento da produção quantitativa?

Neste sentido, um excelente indicador da qualidade e/ou inserção internacional da produção de artigos é a capacidade dos mesmos de serem citados por outros estudos. Esse tipo de análise não pode ser feita para pequenas populações heterogêneas de pesquisadores (tendo em vista que cada área da ciência apresenta diferentes valores médios de citações por ano – por exemplo, artigos de matemática são menos citados que os de imunologia), mas cabe no caso de USP e Stanford. Além disso, é bem conhecido que quando se analisa um número bruto de citações em uma população que publica quantidades diferentes de artigos, se tem um viés que inviabiliza a análise. Neste sentido, podemos apenas comparar as citações que os artigos da USP e Stanford produziram em 2008 e 2009, tendo em vista que a soma de trabalhos dos dois anos gerou um valor parecido nas duas universidades: 12.739 (USP) versus 12.530 artigos (Stanford). A quantidade de citações que os artigos de 2008 e 2009 obtiveram até o 23/12/2010 foi de 33,5 mil no caso da USP e 103,1 mil no caso de Stanford, uma diferença de 3,1 vezes – um “gap” brutal.

Outra análise importante é a relação entre citações e artigos (indicador “citações por artigo” ou CPA), que pode ser feita independente do tamanho de cada amostra (no caso, de artigos) – isso quando as populações que estão sendo comparadas produzem um considerável número de artigos. Assim, em 2002, cada artigo de Stanford gerou – em média – 43,7 citações entre 2002 e 2010; os da USP geraram 16,5 citações. A diferença dos valores de CPA foi de 2,6 vezes. Ao olhamos para os artigos publicados em 2008 e 2009, a diferença de CPA entre USP (2,6 citações por artigo até 2010) e Stanford (8,2 citações por artigo) foi de 3,1 vezes. Finalmente, observando o conjunto de anos de 2002 a 2009, verificamos que o valor de CPA da USP foi de 7,7 (34,1 mil artigos e 26,4 mil citações) e de 23,3 para Stanford (43,3 mil artigos e 100,8 mil citações) – uma diferença de 3,0 vezes entre as duas universidades.

Não podemos concluir que os artigos produzidos na USP têm piorado de qualidade e/ou inserção internacional entre 2002 e 2009, isso porque o “gap” entre USP e Stanford tem se mantido na média de 3 vezes (diferença dos CPAs da USP e Stanford), apesar de haver uma tendência de aumento ao longo da linha do tempo (de 2,6 para 3,1 vezes; r=0,62). De qualquer forma é um alerta para que se repense a política atual de obsessão em quantidade de artigos/ano e passamos a olhar com mais carinho para o impacto que os trabalhos possam vir a ter. Para isso, um crescimento menos vigoroso na quantidade de artigos produzidos pode ajudar – aproveitando o tempo a mais (afinal não é simples publicar em revistas internacionais de corpo editorial rígido) para produzir estudos mais completos. Produzir e escrever estudos mais robustos requer tempo, equipes bem treinadas e motivadas e mente sã. Quem sabe o exemplo de Stanford não possa ser seguido, onde não se estimula a produção de “fast food papers” ¹. Além disso, não se deveria dar tanta ênfase na produção de artigos que são frutos de alunos de doutorado (e que são rapidamente produzidos para que os alunos possam defender suas teses e/ou ter um CV competitivo), sendo que estes ainda estão em uma fase pouco madura enquanto pesquisadores.

Podemos concluir que não basta disponibilizar mais verbas para pesquisa, que necessariamente isso vá refletir numa melhora nos indicadores da USP, ou de qualquer outra universidade “tradicional” do Brasil. Tendo em vista que os recursos federais para a ciência mais de dobraram entre 2002 e 2009, é lamentável que o retorno em termos de qualidade e/ou inserção internacional de nossa ciência (pelo menos no caso da USP) não tenha melhorado. USP e Stanford apresentam investimentos semelhantes em pesquisa, mas há um “gap” de três vezes (200%) entre elas em termos de CPA – é algo para se refletir. Acreditar que mais verba de pesquisa para a USP vá fazer as coisas melhorarem é fazer pouco caso do contribuinte, que paga por grande parte do custeio dessa universidade.

Nota de Rodapé

¹: Michael Gross, 2009. Is science reporting turning into fast food? Ethics Sci Environ Polit, Vol. 9: pp 5–7. http://www.int-res.com/articles/esep2009/9/e009p005.pdf