Desempenhos comparados

Março/2015

Bruno de Pierro | Pesquisa Fapesp Um estudo publicado na edição de janeiro da revista Scientometrics, realizado pelo Grupo de Estudos sobre Organização da Pesquisa e da Inovação (Geopi), do Instituto de Geociências da Universidade Estadual de Campinas (Unicamp), mensurou o impacto de diferentes mecanismos de seleção praticados por agências de fomento no Brasil sobre o desempenho de seus bolsistas. A principal conclusão do estudo, com base em dados de um projeto que avaliou os programas de bolsas da Fapesp, é que bolsistas brasileiros de iniciação científica, mestrado e doutorado cujos projetos foram aprovados depois de passar por uma avaliação individual feita por membros da comunidade científica – o sistema conhecido como avaliação por pares, como ocorre na Fapesp – publicaram mais em revistas com maior fator de impacto do que aqueles que, tendo suas solicitações de bolsa recusadas pela Fapesp, receberam o benefício por meio de quotas de bolsas para universidades disponibilizadas pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). No entanto, o estudo também observou que os desempenhos de ambos os grupos tendem a se aproximar ao longo dos cinco anos após a conclusão do doutorado, à medida que passam a produzir pesquisa autonomamente. O trabalho mostra que alunos de doutorado apoiados pela Fapesp publicaram em média 37% mais artigos do que candidatos cujos projetos foram recusados pela instituição e que receberam outro tipo de bolsa no mesmo período. “Uma hipótese é que o modelo de avaliação por pares representa um filtro acadêmico clássico no momento de avaliar projetos de pesquisa”, explica Sérgio Salles-Filho, um dos autores do artigo e coordenador adjunto de Programas Especiais da Fapesp. O estudo avaliou cerca de 55 mil artigos publicados por mais de 8.500 pesquisadores que receberam bolsas de iniciação científica, mestrado e doutorado da Fapesp, CNPq e Capes entre 1995 e 2009. Para fazer a análise, os autores avaliaram a trajetória acadêmica dos bolsistas com base na Plataforma Lattes, do CNPq, e em respostas a questionários on-line especialmente preparados para essa avaliação. Esse contingente foi dividido em dois grupos: de um lado, os candidatos cujos projetos foram aprovados por avaliadores da Fapesp e, de outro, o grupo de controle, formado por aqueles cujas solicitações de bolsas foram denegadas pela Fundação, mas contempladas por uma agência federal. A comparação entre os dois grupos foi possível graças à utilização de uma metodologia para aproximar características dos grupos de tratamento e controle em um desenho quase-experimental (ver Pesquisa Fapesp nº 224). O efeito do sistema de avaliação por pares na produção científica foi observado em diferentes áreas do conhecimento. No mestrado, os bolsistas da Fapesp publicaram 24% mais artigos em ciências agrárias e 25% mais nas engenharias. Nas demais áreas não houve diferenças estatisticamente significativas em termos de quantidade de publicação. Considerando as diferenças de fator de impacto das revistas, os ex-bolsistas de mestrado da Fapesp publicaram 13% mais em periódicos de maior impacto, tendo como destaque as áreas de ciências agrárias (24% a mais) e biologia (16% a mais). Em relação ao doutorado, o número de publicações também foi maior entre os ex-bolsistas da Fapesp em quase todas as áreas (ver gráfico). Entretanto, no que se refere ao fator de impacto das revistas, apenas a área de humanidades apresentou superioridade (87% mais artigos). Nas demais áreas, não houve diferença significativa, com exceção de ciências sociais, na qual os ex-bolsistas da FAPESP publicaram em revistas de menor impacto quando comparados com o grupo de controle, cerca de 67% a menos. De acordo com o estudo, a trajetória profissional dos doutores em ciências sociais teve um comportamento peculiar. “Como vimos no estudo, esses pesquisadores apresentaram menor inclinação para o pós-doutorado e maior taxa de empregabilidade do que em outras áreas, apresentando um menor envolvimento com o mundo da pesquisa”, diz Adriana Bin, também professora da Unicamp e autora principal do artigo. Os autores do estudo observaram que, após a conclusão do doutorado, os dois grupos de pesquisadores tendem a produzir segundo padrões similares, levando-se em conta o número de artigos e o fator de impacto das revistas científicas nas quais publicam. Para isso, foram analisados os cinco anos anteriores ao ano da defesa da tese e os cinco anos posteriores (ver gráfico). Um dado que chamou a atenção foi o fato de os bolsistas da Fapesp apresentarem um aumento das taxas de publicação logo após a obtenção do título de doutor, enquanto o grupo de controle teve uma pequena queda do número de artigos publicados. “Uma das hipóteses que explicam esse fenômeno é que os bolsistas da Fapesp envolvem-se de forma mais rápida em atividades de pesquisa após o doutorado”, explica Adriana. Dos pesquisadores que tiveram bolsa da Fapesp, cerca de 40% vincularam-se ao pós-doutorado assim que concluíram o doutorado. Entre os que receberam outras bolsas, o índice foi de 30%. Para Rogério Meneghini, coordenador científico da biblioteca virtual SciELO Brasil, essa é uma informação surpreendente. “No Brasil, a grande maioria dos pesquisadores não faz pós-doc logo depois do doutorado e, com o aumento do número de universidades públicas criadas nos últimos anos, grande parte dos doutores está se dedicando ao ensino”, diz. Dois pesos Conhecido como modelo institucional, o sistema usado pelas agências federais baseia-se no desempenho de cada instituição numa classificação nacional de programas de pós-graduação – instituições com os programas mais bem avaliados recebem mais bolsas. Cabe ao próprio programa de pós-graduação ou à universidade decidirem como as bolsas serão distribuídas, e isso é feito utilizando critérios que variam caso a caso, como o currículo do candidato, sua condição socioeconômica, uma avaliação do projeto ou uma combinação de todos eles. Já a revisão por pares, adotada pela Fapesp, também pode levar em conta indicadores de desempenho, mas avalia individualmente e em profundidade o perfil do candidato e a qualidade do projeto, além da experiência do orientador ou supervisor. A diferença essencial entre os dois sistemas, diz Salles-Filho, é que no de avaliação por pares a agência que concede as bolsas tem o domínio do processo de avaliação dos projetos, por meio de pesquisadores qualificados, que emitem pareceres orientando a instituição a conceder ou não a bolsa. Já no outro sistema, a decisão é descentralizada. O modelo institucional também se vale de uma forma particular de avaliação por pares. “Não se pode afirmar que a avaliação por pares garante necessariamente a seleção do melhor candidato. No entanto, esse processo de seleção é o método canônico da ciência e segue sendo o modelo mais respeitado”, afirma Salles-Filho. Os primeiros programas de bolsas para pós-graduação começaram a surgir nos Estados Unidos e na Europa após a Segunda Guerra Mundial, numa época de expansão da interferência do Estado no financiamento da pesquisa científica, associado a altos investimentos em tecnologia e inovação. Desde o início, o principal mecanismo usado para a concessão de bolsas era baseado na avaliação por pares. Um artigo publicado na revista Science em 1977, por pesquisadores da Universidade de Columbia, destacava a importância desse modelo para a National Science Foundation (NSF), principal agência de fomento à pesquisa básica dos Estados Unidos, já naquela época. O artigo rebate uma crítica da época, segundo a qual os avaliadores davam preferência para projetos de pesquisadores de renome e que publicavam mais. Os autores argumentam que não havia dados empíricos atestando que a avaliação por pares praticada pela NSF fosse subjetiva. O sistema seguiu prestigiado dentro da comunidade científica, adotado por outras importantes instituições de apoio, como os Institutos Nacionais de Saúde (NIH), principal agência de fomento à pesquisa biomédica dos Estados Unidos, e os Research Councils do Reino Unido. Algumas dessas instituições incluíram em suas avaliações internas estudos para verificar os impactos da revisão por pares na produção científica de seus bolsistas. Em 2002, por exemplo, a NSF avaliou seus programas de bolsas de pós-graduação e chegou à conclusão de que o sistema de revisão por pares tinha um efeito positivo na produção acadêmica de seus bolsistas. Em algumas áreas, como matemática e economia, alunos agraciados com bolsas da NSF chegaram a publicar cerca de três artigos científicos a mais do que o grupo de controle, formado por bolsistas de agências que não utilizam o mecanismo de revisão por pares. Outros estudos, porém, mostram que é difícil confirmar a relação entre os sistemas de seleção de bolsistas e o rendimento deles em publicações científicas. Um deles foi publicado por John Rigby, professor da Universidade de Manchester, Inglaterra, em 2013. Rigby afirma que a aceitação de um projeto por uma agência de financiamento não prediz o impacto que a pesquisa poderá ter no futuro. Manter um exército de avaliadores também é um desafio para as agências de fomento. Em 2009, o Research Assessment Exercise (RAE) fez um grande esforço de apreciação da qualidade da pesquisa no Reino Unido e substituiu seu método baseado primordialmente na avaliação por pares por um novo sistema, o Research Excellence Framework (REF), que, embora não abandone a avaliação por pares, faz uso maior de indicadores bibliométricos, como o número de citações das publicações feitas pelos cientistas (ver Pesquisa Fapesp nº 156). O objetivo do governo do Reino Unido foi reduzir custos e dar mais agilidade à avaliação. A mudança dividiu a comunidade científica britânica. “Tomadas de forma isolada, citações têm se mostrado repetidamente uma medida pobre da qualidade da pesquisa”, segundo publicou em editorial, na época, a revista Nature, sobre as mudanças anunciadas, citando um estudo de 1998 que comparou os resultados de duas análises de um conjunto de artigos sobre física, uma usando métricas como citações e outra baseada em avaliação por pares. As divergências atingiram 25% dos artigos analisados. “Os formuladores de políticas não têm outra opção a não ser reconhecer que a revisão de especialistas tem um papel indispensável na avaliação”, afirma o editorial da Nature. Fonte: Pesquisa Fapesp Leia mais: Saturação dos revisores por pares em questão Como se apresenta o futuro da revisão por pares?