O fator de impacto e o significado da ciência

Nas últimas décadas, o meio científico foi dominado por um termo chamado fator de impacto. O fato de impacto é o número de vezes em que um trabalho científico é mencionado os outros trabalhos, em um período de 2 ou 5 anos após a sua publicação. Parece uma bobagem, mas esse número foi transformado em algo mágico, que decide o sucesso ou fracasso de carreiras, projetos, empreitadas. Como tudo que tem valor no mundo de hoje, é sujeito a fraudes, especulações e manipulações. Mas afinal de contas, porque o tal fator de impacto é tão importante assim?

O fator de impacto foi criado originalmente para medir a relevância de periódicos em bases de dados bibliográficos. Por exemplo, se uma biblioteca precisa decidir qual periódico vai assinar, é interessante saber o quanto os trabalhos dessa revista são mencionados por outros autores, pois isso é uma medida indireta de que aqueles trabalhos são mais lidos pelo público alvo. Uma medida que tinha inicialmente o objetivo de direcionar melhor o uso de recursos biblioteconômicos, se transformou em uma monstruosidade conceitual.

Aqui vale a pena comentar dois dos deslizes de pensamento bastante comuns realizados por seres humanos, sejam eles técnicos ou não (cientistas são seres humanos até prova em contrário). O primeiro é pegar o conceito de uma área do conhecimento e aplicá-lo em outro contexto, dando a ele um significado que ele não tem. Outro deslize comum é o da escala. Por exemplo, utilizar um conceito que faz sentido em uma escala maior e aplica-lo a casos individuais. Ou vice-versa, generalizar casos individuais para todo um conjunto de fenômenos. Como todo deslize, esses às vezes nos levam a um lugar melhor, mas na maior parte das vezes simplesmente escorregamos e caímos.

Vou tentar ser mais claro e exemplificar. Na primeira categoria, o deslize é achar que uma medida quantitativa, ou seja, um número, reflete diretamente uma questão qualitativa. Assume-se pacificamente que um artigo com mais citações seja indiscutivelmente melhor apenas por causa disso. Qualquer pessoa que pare seriamente para refletir sobre isso percebe a enorme bobagem embutida nessa simplificação. O trabalho pode ser citado por que é ruim. Ou por que contradiz uma nova teoria. Ou apenas porque tem uma receita útil. Ou apenas porque seus autores são famosos e conhecidos. A única medida verdadeira de qualidade de um trabalho científico advém da sua leitura cuidadosa e da reflexão sobre o significado dos dados e das conclusões dos autores. Embora isso seja feito rotineiramente em revistas que fazem revisão por pares, isso está muito longe de ser uma avaliação da qualidade pelo conjunto de especialistas da área, ou mesmo pela sociedade como um todo. O termo impacto é até desonroso, porque dizer que o fator de impacto do trabalho científico se limita a número citações sugere que a importância da ciência para a sociedade seja apenas episódica. Isso quando sabemos que a ciência é uma das maiores forças motrizes de desenvolvimento e bem estar moderno. Assim, reduzir na fala o impacto desse conhecimento para a sociedade a um número de menções é ridículo. Talvez por isso tenha se mudado o nome do temor, passando-se a se falar em fator de citações, algo que reflete melhor a limitação da medida.

O fator de impacto, ou citações, foi adotado e se alastrou no meio científico como uma doença porque é fácil de obter e fácil de usar. Num meio aonde estamos soterrados de informação e somos obrigados a tomar decisões cada vez mais rapidamente, organizar a produção científica e classificar o seu valor apenas com um número à mão é tentador demais. Isso não só levou a inúmeras distorções e injustiças, como também a inúmeros desvios de comportamento por parte dos cientistas. Criou-se um mercado de citações, aonde autores fatiam a sua produção científica em pequenos trabalhos, que citam uns aos outros, além de acordos entre colegas para a citação ou inclusão indevida em manuscritos. Tudo isso por que lá na frente, o número de citações se transforma em dinheiro, como projetos aprovados ou bônus salariais.

O ridículo da coisa se revela mais escancaradamente quando olhamos para os fatores de impacto ou de citações como o que eles são rigorosamente, ou seja, apenas números. É possível dizer que o artigo que foi citado duas vezes é duas vezes melhor do que um artigo que foi citado uma vez? Uma revista que tem um fator de citações médio de 2.1 é melhor do que uma revista que tem fator médio de citações de 1.8? Artigos que não tem nenhuma citação nos últimos anos não deveriam nunca ter sido realizados? Artigos que não são mais citados não são mais fontes de conhecimento confiável? Revistas com fatores de impacto altíssimos, de 10, 20 ou até 50 citações por artigo por ano, são realmente as mais importantes para o trabalho científico de rotina em todas as áreas?

O outro tipo de deslize, ou de generalização, é escandaloso se considerarmos que boa parte dos cientistas tem uma boa formação em matemática e estatística. É ridículo acreditar que o fator de citações médio de uma revista se estende a todos os trabalhos publicados por ela. Ainda mais quando sabemos que a distribuição de citações por artigo é largamente assimétrica, com um número enorme de artigos que não são nunca citados e um número muito pequeno de artigos que são citados muitas vezes acima da média do grupo. O que os brasileiros estão acostumados a chamar de puxadores de votos, ou chamadores de atenção. Hoje em dia, com as ferramentas de busca bibliográfica que temos, não faz sentido condicionar a busca do conhecimento um pequeno número pendurado no site da revista. É claro que isso não quer dizer que as revistas não tenham a sua história e o seu valor dentro da comunidade. Mas achar que o fator de impacto de uma revista seja sinônimo de qualidade é ofensivo com um árduo trabalho editorial e de publicação que é feito com a grande maioria dos periódicos de médio e baixo impacto que, a rigor acabam contendo a maior parte da informação a respeito de um dado assunto.

Há inúmeras outras questões a mais que também devem ser discutidas. A diferença no número de citações entre as áreas de conhecimento é enorme. No campo da medicina, por exemplo, fatores de impacto em torno de 10 são comuns. No campo da entomologia, esse número é absolutamente incomum. Assim sendo, não faz sentido usar o mesmo número para comparar artigos e produções de áreas diferentes. Outra impropriedade enorme é condicionar a análise qualitativa da produção à presença em uma base de dados, ou seja, presença na ferramenta de indexação. Isso tem implicações mercadológicas óbvias, e, além disso, acaba sendo um fator de inibição para a criação de revistas novas de qualidade. Essa discussão acabou ficando anacrônica, após o dilúvio mundial de revistas predatórias. Mas não deixa de ser sintomático que mesmo essas fazem de tudo para convencer os cientistas de que elas são de alguma forma indexadas, medidas, citadas também.

Não é à toa que muitas agências de fomento no mundo todo estão passando a adotar critérios qualitativos de avaliação da produção, aonde se pedem aos revisores ou avaliadores que façam considerações e ponderações sobre a qualidade do conhecimento gerado sem levar em conta o número de citações. Isso dá mais trabalho, toma mais tempo, mas sem dúvida leva a melhores decisões e uma melhor avaliação do trabalho científico. Não há nada melhor para avaliar a qualidade de um artigo do que, afinal de contas, lê-lo com atenção e refletir sobre o que está escrito ali, não é mesmo?