Desde a popularização dos modelos de Inteligência Artificial Generativa (IA Gen), em especial do ChatGPT da OpenAI, no final de 2022, observa-se uma gradual e profunda transformação na atividade científica (Nature, 2023; Noorden, R.V. e Webb, R., 2023). Um dos eixos centrais dessa mudança em curso é a regulação ética do uso da IA Gen, considerando seu potencial disruptivo para essa atividade, com influência sem precedentes para a comunicação científica. A crescente autonomia desses sistemas e sua interação com o que chamamos de agência humana (Bandura, A., 1989; Pew Research Center, 2023) é um dos pontos sensíveis nesse processo.
Pode-se argumentar que a comunicação científica passa por um processo de reconfiguração que, sob uma perspectiva conservadora, é tão paradigmático quanto aquele desencadeado com a criação do primeiro periódico científico, o Philosophical Transactions, em 1665, na Inglaterra. Já sob uma perspectiva mais disruptiva, essa transformação reconfigurará toda a cultura científica, redefinindo a autonomia dos cientistas e das instituições na produção e legitimação do conhecimento — um impacto cuja dimensão ainda não é possível estimar.
Essa visão mais radical leva em conta que a IA Gen, ao integrar-se progressivamente à atividade de pesquisa (e à sociedade de forma mais ampla), não se limita à introdução de uma nova ferramenta tecnológica. Também não se limita à adaptação de práticas científicas existentes a uma nova infraestrutura técnica. A incorporação da IA Generativa na ciência (independentemente das disputas epistemológicas sobre o termo) sugere uma mudança estrutural nas bases sobre as quais a atividade científica é realizada. Trata-se de uma tecnologia de uso dual (dual-use), com potencial para reconfigurar tanto os meios quanto os fins da atividade científica.
Como descrito no relatório Generally Faster: The Economic Impact of Generative AI1 (McAfee, A., 2024), a IA Gen constitui uma tecnologia capaz de gerar conteúdo original, aprimorar-se continuamente por meio de seu próprio uso e apresentar impactos econômicos e sociais disseminados com maior rapidez do que tecnologias anteriores. Como descreve Krakowski em Human-AI agency in the Age of Generative AI2 (2025),
diferente da IA preditiva, que frequentemente requer conhecimento técnico e infraestrutura para ser implementada e usada de forma eficaz, a natureza pré-treinada e as interfaces de linguagem natural da IA Gen reduzem as barreiras de uso. Essa característica permite que humanos sem habilidades em TI (Tecnologia da Informação), ciência de dados ou programação interajam com sistemas de IA […]. A acessibilidade e o baixo custo de modelos de fronteira contemporâneos, como o GPT-4o para usos multimodais de propósito geral, o GitHub Copilot para codificação e desenvolvimento de software ou o Pi para tarefas que envolvem dimensões sociais e emocionais, juntamente com modelos abertos como o Llama 3 (Meta) e o DeepSeek-R1 (DeepSeek AI), tornaram os recursos avançados de IA amplamente disponíveis a um custo baixo ou nenhum.2
Nesse ambiente tecnológico reestruturante nas articulações entre a inteligência humana e artificial (IBM IBV, 2024), o potencial de autonomia de modelos e sistemas de IA Gen impõe a necessidade de antecipação crítica de seus desdobramentos, incluindo o contexto científico (European Research Council, ECR, 2023).
Eric Schmidt, ex-CEO e presidente executivo do Google, juntamente com Henry Kissinger e Daniel Huttenlocher, no livro Genesis: Artificial Intelligence, Hope, and the Human Spirit3 (Kissinger, H., et al., 2024), advoga uma regulação ética proativa e estratégica para o os usos da IA, com implicações sem precedentes para a governança nos países no que tange, por exemplo a autonomia dos sistemas de IA Gen. Conforme destacado por Kissinger, et al. (2024),
As futuras capacidades da inteligência artificial, operando em velocidades sobre-humanas, tornarão as formas tradicionais de regulação obsoletas… Temos pouquíssima capacidade independente de verificar os funcionamentos internos dos modelos de IA, muito menos suas intenções. Precisaremos de uma forma fundamentalmente nova de controle.3
Schmidt em Eric Schmidt on AI’s Future: Infinite Context, Autonomous Agents, and Global Regulation4(2024) antevê um futuro em que milhões de agentes de IA serão capazes de aprender, evoluir e colaborar entre si, comparando esse cenário a um “GitHub para IA”. Nessa perspectiva, esses agentes operariam como sistemas autônomos, impulsionando o que ele chama de inovações exponenciais em diferentes setores.
No entanto, Schmidt alerta que, ao se comunicarem de forma independente, esses agentes de IA poderão desenvolver seus próprios protocolos ou linguagens, criando riscos difíceis de manejar e compreender pelos humanos: “Em algum momento, eles desenvolverão sua própria linguagem. Quando isso acontecer, talvez não compreendamos mais o que estão fazendo — e é nesse momento que devemos desconectá-los.”
Complementando essa visão, McAfee1 (2024) enfatiza que grande parte da infraestrutura necessária para o funcionamento da IA generativa já está amplamente disponível, acelerando seu impacto em comparação a tecnologias anteriores. Na IA Gen, o acesso não é restrito apenas a desenvolvedores, mas também aos usuários diretos, ampliando a velocidade e escala da transformação, configurando uma mudança sem precedentes.
Mixed feelings sobre os impactos da IA Generativa na atividade científica
No âmbito acadêmico, observa-se que os usos e as percepções sobre seus impactos na atividade científica ainda variam amplamente entre os pesquisadores. O levantamento ExplanAItions5 da editora Wiley, apresentado há cerca de três meses em How are Researchers Using AI? Survey Reveals Pros and Cons for Science,6 na Nature (Nadaff, M., 2025) ilustra essa observação. Participaram 4.946 pesquisadores de diferentes áreas e mais de 70 países.
Os resultados indicaram que o uso da IA Gen como parte da atividade científica ainda é limitado. O levantamento identificou que apenas 45% dos entrevistados (1.043 pesquisadores) usavam a IA Gen para auxiliar em suas pesquisas, com foco principal na tradução, elaboração e revisão de manuscritos. Além disso, 81% desses 1.043 pesquisadores haviam utilizado o ChatGPT da OpenAI para fins pessoais ou profissionais, mas apenas cerca de um terço conhecia outras ferramentas de IA Gen, como o Gemini , do Google, e o Copilot , da Microsoft. Houve variações entre países e disciplinas, com cientistas da computação sendo, naturalmente, mais propensos a utilizar IA Gen nessas atividades.
Com base nesse levantamento, Nadaff6 (2025) relata que os pesquisadores ainda são céticos quanto às capacidades da IA Gen para tarefas mais complexas no processo de pesquisa, como identificar lacunas na literatura ou recomendar avaliadores. A maioria dos participantes acredita que essas e outras tarefas na ciência são melhor realizadas por humanos.
“Embora 64% dos entrevistados estejam abertos ao uso da IA para essas tarefas nos próximos dois anos, a maioria acredita que os humanos ainda superam a IA nessas áreas.”6 Além dessa questão, “[o]s pesquisadores também estão preocupados com a segurança do uso dessas ferramentas: 81% dos entrevistados disseram ter preocupações com a precisão da IA, potenciais vieses, riscos à privacidade e a falta de transparência na forma como essas ferramentas são treinadas.”6
O levantamento Foresight: Use and Impact of Artificial Intelligence in the Scientific Process7 sobre o uso de IA na prática científica conduzido pelo European Research Council (2023), com base em uma população de pesquisadores associados a 1.046 projetos registrados na agência, identificou usos de IA Gen como apoio à redação e edição e tradução de textos, codificação e programação, bem como geração de imagens, dentre outros usos.
O relatório do ECR (2023) descreve que nas ciências da vida, cujos participantes representam 18% do total de respondentes do levantamento, “estão utilizando métodos de IA, por exemplo, para compreender diferenças individuais em grandes coortes e fazer previsões sobre diagnósticos ou desfechos de terapias direcionadas”7 e que “[a]s ferramentas de IA são vistas como um suporte essencial para analisar conjuntos de dados genômicos, epigenômicos e transcriptômicos…”,7 além de comparar diferentes estágios de uma determinada doença, por exemplo.
Para os participantes das ciências sociais e humanidades, com 29% do total de respondentes,
redes neurais e ferramentas de processamento de linguagem natural (PLN) são utilizadas em uma ampla gama de aplicações, como modelos para reconhecimento de texto manuscrito e reconhecimento automático de fala, ou para a classificação automática de composições musicais… a IA é usada para identificar biomarcadores vocais de estresse em amostras de voz, detectar discursos extremos em discussões on-line… para a análise de dados baseada em modelos, com o objetivo de decodificar e comparar representações mentais… [e] simular o aprendizado humano…7
Entretanto, como no levantamento da Wiley relatado por Nadaff6 (2025), o da ERC (2023) revela que “[e]xpectations regarding the use of AI for scientific discovery, however, varied among respondents“7 (expectativas sobre o uso de IA para descoberta científica, no entanto, variaram entre os respondentes).
Integração da IA Generativa na atividade científica — questões sobre agência humana e alinhamento
Consideramos essencial que o ecossistema de pesquisa, incluindo autores, financiadores e instituições de pesquisa fomentem discussões e iniciativas que abordem desafios sobre o alinhamento (Russel, S., 2019)9 e a implementação desses modelos. Reconhecemos que a transparência no uso de IA Gen para a comunicação científica é uma ação necessária que vem crescendo no sistema de publicações.
Porém, entendemos que também é fundamental uma visão abrangente do problema, que impacta as definições de integridade científica estabelecidas mundialmente. Inspiradas pelo Diagrama sobre a Pesquisa Científica de David Stokes (1997), que apresenta o famoso Quadrante de Pasteur, propusemos um modelo para representar a relação da integridade com a agência humana, individual e coletiva, na atividade científica, sem e com a interação com a IA Gen. Cada quadrante oferece uma perspectiva sobre essa relação e seus possíveis desdobramentos no âmbito da governança da pesquisa.
O modelo permite considerar a integridade a partir de uma perspectiva que leva em conta o nível de agência ou autonomia que os pesquisadores possuem e eventualmente concederiam na pesquisa que incorpora a colaboração humanos e IA Gen. O modelo pode ser acessado no artigo de Vasconcelos e Marušić8 (2025).
Conforme abordado,
[a] IA Gen já está influenciando todas as etapas do processo de pesquisa, desde a formulação de hipóteses até o design experimental, análise de dados, visualização e interpretação de resultados, redação de artigos científicos e até mesmo revisão por pares (Ifargan, T., et al., 2024; Binz, M., et al., 2025; Naddaf, M., 2025). Com desafios tanto para a noção de responsabilidade individual quanto para os padrões comunitários de boas práticas em pesquisa, integrar a IA Gen ao esforço científico enquanto se mantém a confiabilidade tornou-se uma demanda urgente na academia.8
Citando Dua e Patel (2024), que detalham as potencialidades da IA Gen, ressaltamos um consenso crescente no sistema de publicações sobre a necessidade premente de revisitar padrões éticos e processos de verificação em pesquisas científicas permeadas por essas tecnologias. No âmbito da pesquisa experimental, em Empowering Biomedical Discovery with AI Agents,10 Gao, et al. (2024) visualizam agentes científicos de IA “como sistemas capazes de aprendizado e raciocínio cético que capacitam a pesquisa biomédica por meio de agentes colaborativos que integram modelos de IA e ferramentas biomédicas com plataformas experimentais.”
Gao, et al.10 (2024) observam que as interseções entre os domínios tecnológicos, científicos, éticos e regulatórios desempenham um papel importante para o desenvolvimento de estruturas de governança eficazes.
Como apontado por Kissinger, et al.3 (2024) e também refletido nas análises de Gao, et al.10 (2024), lidar com essa autonomia emergente representa um desafio que exige um debate amplo e robusto na comunidade científica, especialmente no que se refere ao alinhamento desses sistemas, com os objetivos de preservação da integridade científica e da confiança pública na ciência. Questões sobre alinhamento e agência humana são interdependentes, mas longe de triviais.
No referido artigo do EMBO Reports,8 citamos o relatório The Future of Human Agency11 de 2023. Nesse relatório, o Pew Research Center apresenta uma exploração sobre o “quanto controle as pessoas manterão sobre a tomada de decisões essenciais à medida que os sistemas digitais e a IA proliferam.” Como descrito no artigo,8 o Imagining the Internet Center da Pew e Elon University convidou diversas partes interessadas, incluindo David J. Krieger, diretor do Institute for Communication and Leadership em Lucerna, Suíça. Na visão de Krieger,
[a] agência individual já é um mito, e isso se tornará cada vez mais evidente com o tempo… O humanismo busca preservar o mito da agência individual e consagrá-lo na lei. Um bom design de redes sociotécnicas precisará ser explícito sobre suas pressuposições pós-humanistas para trazer essa questão ao debate público. Os humanos agirão em parceria — ou seja, agência distribuída — com tecnologias de todos os tipos.8
Conforme detalhado no artigo, “a agência e a supervisão humanas estão entre os principais requisitos operacionais que sustentam os princípios éticos para sistemas de IA Gen estabelecidos pela Comissão Europeia, como parte das suas Living Guidelines on the Responsible Use of Generative AI in Research12 (2024).”8
três níveis de agência e supervisão humanas: abordagens humanos-no-circuito (HITL, Human-in-the-Loop), humanos-no-circuito (HOTL, Human-on-the-Loop) e humanos-no-comando (HIC, Human-in-command). O HITL envolve intervenção humana durante todo o ciclo de decisão; HOTL inclui a contribuição humana na fase de design e monitoramento contínuo das operações do sistema; HIC abrange a supervisão humana de toda a atividade do sistema de IA, incluindo impactos sociais e éticos, bem como a tomada de decisões sobre quando e como utilizar o sistema em diferentes contextos.8
Agência e supervisão humanas são essenciais na atividade científica entremeada por IA Generativa, mas não suficientes
No artigo do EMBO Reports,8 exploramos o alinhamento na colaboração humana com a IA Gen como um ponto sensível, refletindo preocupações com a cultura de comunicação científica ao longo das últimas décadas. Em Strong and Weak Alignment of Large Language Models with Human Values,14 Khamassi, et al. (2024) destacam questões oportunas sobre “alinhamento forte e fraco” de Large Language Models (LLMs) com valores humanos e as complexidades da compreensão da IA desses valores.
Em Training Language Models to Follow Instructions with Human Feedback,15 Ouyang, et al. (2022) colocam que “ressalvas à parte, o alinhamento tem um papel fundamental no ajuste fino dos LLMs para responder adequadamente às intenções humanas, ao mesmo tempo em que mitiga conteúdo prejudicial, tóxico ou tendencioso.”15 Como o mais amplo dos alinhamentos de modelos de IA Gen, citamos a Open AI, que introduziu o “alinhamento deliberado”: um paradigma de treinamento para garantir que os LLMs de raciocínio (reasoning LLMs) se comportem de forma compatível com critérios de segurança definidos antes de gerar respostas aos comandos (Guan, M.Y., et al., 2024).
Argumentamos que, mesmo sob a perspectiva de LLMs como “papagaios estocásticos”, uma interpretação debatida, adotada por Emily Bender, et al. (2021)“para enfatizar que esses sistemas remixam padrões em seus dados de treinamento sem uma verdadeira compreensão, o alinhamento permanece um problema crítico.”16 É fundamental um olhar cuidadoso, em especial da comunidade acadêmica, sobre o papel do alinhamento de sistemas de IA Gen.
Considerando que os dados de treinamento são derivados principalmente daqueles criados por humanos, os datasets usados refletem inerentemente padrões culturais, visões de mundo e vieses sociais, juntamente com os pontos fortes e fracos da produção de conhecimento humano. Como resultado, os modelos Gen AI tenderiam a reproduzir — ou mesmo amplificar — vieses em seus resultados. No tocante à interação com modelos de IA Gen para formular hipóteses, analisar dados ou redigir relatórios de pesquisa, o modo como esses sistemas são alinhados molda de forma crítica seus comportamentos e os resultados produzidos.8 (Vasconcelos, S. e Marušić, A., 2025)
Como pontuamos no artigo, uma grande quantidade de LLMs está sendo constantemente treinada e retroalimentada com novos dados, em um ambiente de produção científica marcado por uma cultura de publicação que tende a incentivar relatos positivos ou enviesados (Ghannad, M., et al., 2019; Boutron, I. e Ravaud, P., 2018). Essa cultura também se reflete em um ambiente desafiador para a exposição pública de erros, constituindo-se como um fator que afeta a transparência científica e reforça padrões de comunicação que incorporam esses traços (Nature, 2012; PsychologicalScience Observer, 2021; Nature Communications, 2024).
Esses elementos compõem desafios estruturais de longo prazo para o alinhamento e a implementação responsável de modelos de IA Gen, com os quais os pesquisadores já interagem — e continuarão a interagir — em suas práticas de pesquisa.
As noções de integridade científica integram o pressuposto de agência humana, mas agora deve ser explicitado
A integridade científica está atrelada à adesão a práticas científicas éticas, transparentes e rigorosas, contando com a responsabilidade individual e coletiva, como bem descreve Luiz Henrique Lopes dos Santos em Sobre a integridade ética da pesquisa17 (2017).
Essa noção de integridade científica, como destacamos no artigo, assume a agência humana como um pressuposto. Porém, a integração da Gen AI no processo de pesquisa em todos os estágios ressalta a importância de enfatizar o papel da “agência humana”, com uma menção explícita em suas definições. Essas definições têm um papel crucial em processos decisórios neste novo ambiente de produção acadêmica.
Nossa proposta é que as definições de integridade científica passem a incorporar, explicitamente, a “agência humana” como um elemento integrante para a proposição, condução, comunicação e revisão da pesquisa. Essa abordagem expandida também deve incorporar o fomento de benchmarks de integridade científica para o treinamento e implantação de modelos e sistemas de IA Gen.
Nas ciências biomédicas, essas preocupações têm se mostrado particularmente relevantes para a governança de agentes de IA, mas seus desdobramentos são muito mais amplos. É fundamentral abordar, em especial em espaços decisórios da atividade científica, essas questões sensíveis no contexto da colaboração humana com sistemas de IA Gen. Essa necessidade se justifica, sobretudo, pelas crescentes capacidades e o potencial de exercer níveis cada vez maiores de influência sobre os processos de pesquisa, independente do campo de conhecimento.
Como enfatizado no artigo do EMBO Reports,8 a academia deve e pode adotar uma atitude mais proativa em relação à busca de uma compreensão da relação estreita entre integridade cientifica e agência humana em tempos de profunda transformação na produção de conhecimento. Essa não deveria ser uma meta de longo prazo, já que a IA Gen tem o potencial de redefinir padrões e influenciar a confiabilidade e a cultura de comunicação científica entre os pares e para os diferentes públicos.
Ao integrar explicitamente a agência humana nas definições de integridade científica, pesquisadores e gestores reconhecem que a autonomia dos sistemas de IA deve ser equilibrada com a supervisão humana, promovendo o uso responsável e políticas para a regulação ética de pesquisas que envolvem a colaboração entre humanos e IA Generativa.
3. KISSINGER, H.A., SCHMIDT, E. and MUNDIE, C. Genesis: Artificial Intelligence, Hope, and the Human Spirit. New York: Little Brown and Company, 2024 ↩
9. No livro Human Compatible: Artificial Intelligence and the Problem of Control de Stuart Russel (2019), é descrito: “Atribuir um propósito a uma máquina que otimiza seu comportamento com base em algoritmos claramente definidos parece uma abordagem admirável para garantir que seu funcionamento promova nossos próprios objetivos. Mas, como adverte Wiener, é fundamental inserir o propósito correto. Podemos chamar isso de o problema do Rei Midas: Midas obteve exatamente o que pediu — que tudo o que tocasse se transformasse em ouro — mas, tarde demais, descobriu as consequências de beber ouro líquido e comer ouro sólido. O termo técnico para definir corretamente esse propósito é alinhamento de valores. Quando esse alinhamento falha, podemos, inadvertidamente, dotar as máquinas de objetivos que contrariam os nossos.” ↩
DUA, I.K. and PATEL, P.G. An Introduction to Generative AI. In: DUA, I.K. and PATEL, P.G. (authors) Optimizing Generative AI Workloads for Sustainability: Balancing Performance and Environmental Impact in Generative AI. New York: Apress, 2024.
Sonia Vasconcelos é Professora Associada do Programa de Educação, Gestão e Difusão em Biociências do Instituto de Bioquímica Médica Leopoldo de Meis (IBqM) da Universidade Federal do Rio de Janeiro (UFRJ). Ela coordena o Laboratório de Ética em Pesquisa, Comunicação Científica e Sociedade (LECCS) do IBqM e preside a Câmara Técnica de Ética em Pesquisa (CTEP) da UFRJ. A Profa. Vasconcelos atua como editora acadêmica da PLOS ONE e é membro do Conselho Editorial do Research Integrity and Peer Review. Suas pesquisas e publicações concentram-se nas áreas de comunicação científica, regulação ética da pesquisa, integridade e políticas científicas.
Sobre Ana Marušić
Ana Marušić é Professora de Anatomia, Chefe do Departamento de Pesquisa em Biomedicina e Saúde e Chefe do Centro de Medicina Baseada em Evidências da Faculdade de Medicina da Universidade de Split, em Split, Croácia. Ela é Coeditora-Chefe do periódico ST-OPEN e editora emérita do Journal of Global Health. A Profa. Marušić faz parte do Conselho Consultivo da EQUATOR Network e também atua no Conselho do Committee on Publication Ethics (COPE). Ela possui mais de 400 artigos avaliados por pares e esteve fortemente envolvida na criação da política de registro obrigatório de ensaios clínicos em registros públicos, que contribuiu para mudar a regulamentação legal de ensaios clínicos no mundo.
VASCONCELOS, S. and MARUŠIĆ, A. Integridade científica e agência humana na pesquisa entremeada por IA Generativa [online]. SciELO em Perspectiva, 2025 [viewed ]. Available from: https://blog.scielo.org/blog/2025/05/07/integridade-cientifica-e-agencia-humana-na-pesquisa-ia-gen/
Últimos comentários