Cienciometria de avaliadores – serão finalmente reconhecidos?

Desde os princípios dos estudos de bibliometria e cienciometria, surgiu a inquietude de como medir e avaliar o papel da revisão por pares ou avaliadores (peer-review), assim como os agradecimentos e reconhecimentos (acknowledgements) que intervém na preparação de um manuscrito de um artigo a ser publicado em um periódico científico.

A noticia é que no dia 7 de abril passado ORCID encomendou ao CASRAI (Consortia Advancing Standards in Research Administration Information) um projeto para estabelecer uma forma padrão de reconhecimento do trabalho dos avaliadores na forma de registros persistentes que permitam a recuperação e medição. Porém, antes de descrever o projeto, passemos a apresentar os atores envolvidos e a importância deste projeto.

Os atores

ORCID é uma instituição sem fins lucrativos, com o objetivo de criar e manter uma base de dados internacional com pesquisadores de todas as disciplinas, atribuindo-lhes um registro único digital. Deste modo é possível vincular os resultados das pesquisas com os autores, agencias de fomento e as atividades profissionais dos autores. O identificador do ORCID, da mesma forma que o ResearchID, pode ser integrado aos registros da Web of Science¹, e muitos periódicos científicos estão começado a exigir aos autores que se registrem e incluam no manuscrito seu identificador pessoal.

CASRAI (Consortia Advancing Standards in Research Administration Information) é uma instituição sem fins lucrativos, estabelecida em Ontario, Canadá, cuja finalidade é a estandardização dos dados produzidos pelos pesquisadores e as instituições que financiam os projetos, com o objetivo de assegurar o intercambio de informação ao longo do ciclo de vida das atividades de pesquisa.

O projeto

O projeto surge do antigo problema de como reconhecer as atividades de revisão na base de dados ORCID, e que os dados incorporem também as solicitações de subvenção e os fluxos de trabalho por parte dos revisores de manuscritos enviados para publicação. Para fazer frente a esta necessidade, ORCID solicitou ao CASRAI o desenvolvimento de um projeto de normalização, e com este motivo foi criado um Grupo de Trabalho para o qual foram convocados vários membros representando sociedades científicas, editoras, e agencias internacionais de fomento. O Grupo de Trabalho deverá entregar um documento preliminar para avaliação externa no próximo mês de junho.

Entre os temas principais que deve resolver o Grupo de Trabalho estão incluídos (i) a avaliação da tecnologia adequada para identificar e definir os elementos de dados que permitam o reconhecimento, (ii) a identificação de opções para a atribuição de um identificador de documento persistente para a revisão propriamente dita, e (iii) a recomendação da estrutura de metadados que a citação deverá ter.

Estas discussões são importantes, porque a comunidade de revisores tem desde sempre a inquietude de como pode ser mais bem reconhecida sua participação e o impacto de seu trabalho no desenvolvimento profissional. Um problema central a resolver é qual deveria ser a melhor maneira de acomodar a ampla variedade de atividades da revisão por pares, seja um artigo clássico, um poster de congresso, uma solicitação de financiamento para um projeto, etc., e então como registrar estes eventos em um padrão de citação comum. Por outro lado, a informação desta atividade deverá ser registrada em um identificador persistente que permita vincular o revisor com os documentos nos quais participou, e que no futuro permita a recuperação e a compilação de estadísticas cienciométricas ou altmétricas ou as que correspondam, cruzando diferentes variáveis com os nomes dos revisores.

F1000Research é uma revista em acesso aberto que co-dirige o projeto juntamente com o ORCID e que começou a incluir o identificador do revisor nos artigos publicados em seu site. Deve ser salientado, além disso, que o procedimento de revisão é completamente aberto, com os nomes e informes dos árbitros sendo publicados junto com o artigo. Os informes dos árbitros também tem atribuídos DOIs (digital object identifiers), deste modo aportando para que recebam os créditos que merecem por seu trabalho.

Fonte: http://blog.f1000research.com/2014/04/07/project-to-include-referee-reports-in-orcid-profiles/

A importância do projeto

A revisão por pares demanda muitas horas de trabalho que em geral não é reconhecida publicamente. La qualidade do serviço de revisão é fundamental no processo de pesquisa, e em particular para estabelecer a confiabilidade nas comunicações acadêmicas. Porque, como escreve Alice Meadows (2014), não importa se os periódicos são de acesso aberto ou comerciais, se a revisão por pares é duplo-cego ou aberta, se se compilam valores altmétricos, ou se usam software para detecção de plagio, a comunidade científica na última década, que tem sido testemunha de mudanças rápidas sem final em vista, não mudaram sua percepção de confiança no procedimento de arbitragem por pares.

De acordo com um estudo recente realizado pela Universidade do Tennessee², o informe conclui que na comunidade de pesquisadores as revistas arbitradas por pares seguem sendo o veículo mais confiável e preferido para a comunicação acadêmica. A suposta falta de revisão por pares foi um dos argumentos dos pesquisadores que participaram da pesquisa que disseram não querer publicar em revistas de acesso aberto a menos que tivessem um rigoroso processo de revisão por pares.

Cada vez mais a comunidade se pergunta como pode ser mais bem reconhecido este trabalho, tanto para fomentar a participação de revisores, como para avaliar o impacto no desenvolvimento profissional. E é com estes requerimentos, que vem de longa data, que o Grupo de Tarefas organizado por CASRAI terá muitas coisas a considerar.

Se o projeto ORCID-CASRAI for exitoso, então o importante trabalho de revisão por pares, que quase sempre é anónimo, sem outro reconhecimento que ser incluído nas listas que as revistas publicam cada ano o dos, poderá agora ser incorporado nas listas de méritos pessoais.

Mas para que seja exitoso, como comentam Pablo de Castro e Tomás Baiget³ na lista do INCYT, se deverá contar com um nível suficiente de aplicação e ser aceito. Irá requerer a colaboração das partes interessadas, ou seja, as instituições, as editoras, as empresas, sem importar se as publicações estão em acesso aberto ou se são comerciais. Finalmente, o grande desafio para ORCID é conseguir que os autores estejam dispostos a realizar uma manutenção sistemática da informação que deve ser recolhida em suas contas, ou se este trabalho poderá ser feito na forma sincronizada e automática com os outros sistemas institucionais.

Segundo nos foi informado, o Programa SciELO incorporará uma iniciativa similar no decorrer deste ano. Seria bom que os periódicos que se publicam na Rede SciELO começassem a pedir aos autores e revisores que façam seu registro no ORCID e incluir estes dados nos artigos que enviam para publicar.

Notas

¹ ResearchID and ORCID integration – http://wokinfo.com/researcherid/integration/

² Trust an authority in scholarly communications in the light of the digital transition: Final report University of Tennessee and CIBER Research Ltd. December 2013. http://ciber-research.eu/download/20140115-Trust_Final_Report.pdf

³ Buscan poder reconocer el trabajo de los evaluadores. 9 de abril 2014. Comunicaciones de Pablo de Castro y Tomás Baiget en la lista de Indicadores en Ciencia y Tecnología http://listserv.rediris.es/cgi-bin/wa?A0=INCYT

Referências

HAAK, L. Acknowledging Peer Review Activities. ORCID. 8 April 2014. Available from: http://orcid.org/blog/2014/04/08/orcid-and-casrai-acknowledging-peer-review-activities

LAW, A. ORCID & CASRAI Kick-off New Standards Project on ‘Peer Review Services’. CASRAI. 7 April 2014. Available from: http://casrai.org/about/announcements/orcid-%26-casrai-kick-off-new-standards-project-on-%E2%80%98peer-review-services%E2%80%99

LAWRENCE, R. Project to include referee reports in ORCID profiles. F1000Research. 7 April 2014. Available from: http://blog.f1000research.com/2014/04/07/project-to-include-referee-reports-in-orcid-profiles/

MEADOWS, A. In (Digital) Scholarly Communications We Trust? The scholarly kitchen. 7 April 2014. Available from http://scholarlykitchen.sspnet.org/2014/04/07/in-digital-scholarly-communications-we-trust/?utm_source=feedburner&utm_medium=email&utm_campaign=Feed%3A+ScholarlyKitchen+%28The+Scholarly+Kitchen%29

Links Externos

ORCID – http://orcid.org/

CASRAI – http://casrai.org/about

Sobre Ernesto Spinak

Colaborador do SciELO, engenheiro de Sistemas e licenciado en Biblioteconomia, com diploma de Estudos Avançados pela Universitat Oberta de Catalunya e Mestre em “Sociedad de la Información” pela  Universidad Oberta de Catalunya, Barcelona – Espanha. Atualmente tem uma empresa de consultoria que atende a 14 instituições do governo e universidades do Uruguai com projetos de informação.