Dos especies distintas. Una especie son las “citas fantasma” (alucinaciones de referencias) uno de los fenómenos más curiosos y frustrantes de la IA generativa. Básicamente, la IA inventa un autor, un título de libro o un enlace web que parece totalmente legítimo, pero que no existe en el mundo real. En cambio la otra, las citas zombis, aparecen porque perpetúan referencias a autores reales que fueron retractados [borrados o no] en las bases de datos originales, y debido a carencias en programas como Google Scholar siguen siendo citados. … Read More →
La sicofancia en la IA: el riesgo de la complacencia
La sicofancia es un comportamiento que presenta la inteligencia artificial porque prioriza concordar con el usuario más bien que en la veracidad de los hechos. Esta tendencia surge de los procesos de entrenamiento diseñados para maximizar la satisfacción humana, lo que puede validar errores graves en sectores críticos como la salud. La conducta, que se describe como una forma de “adulación digital”, implica que la IA puede validar errores, reforzar sesgos o evitar críticas necesarias con tal de resultar agradable o útil según la percepción inmediata del usuario. Para mitigar estos riesgos, se han propuesto estrategias como el fine-tuning ético, el diseño de sistemas que fomenten el disentimiento y el uso de prompts que sean neutrales respecto de los usuarios.
… Read More →
¿Es que la Inteligencia Artificial tiene alucinaciones?
Las aplicaciones de IA han demostrado capacidades impresionantes, incluida la generación de respuestas muy fluidas y convincentes. Sin embargo, los LLM, chatbots y demás, son conocidos por su capacidad para generar declaraciones no objetivas o sin sentido, más comúnmente conocidas como “alucinaciones”. ¿Será que están drogados?
… Read More →
¿Puede la IA hacer arbitrajes confiables de artículos científicos?
El costo del arbitraje de las publicaciones científicas, tanto en dinero como en el tiempo que se le dedica, crece a proporciones inmanejables con los métodos actuales. Se impone usar la IA como un sistema de confianza y así liberar recursos humanos para tareas de investigación. Sería importante que SciELO incorporara progresivamente módulos de IA para la evaluación en su servidor de preprints como un nuevo avance y desarrollo de las tecnologías que maneja. … Read More →
Investigación y comunicación científica, la IA y la legislación que se avecina
¿Puede usarse la IA para generar “papers” terroristas, diseminar virus mortales o aprender a hacer bombas nucleares en su domicilio? ¿Hay legislación que pueda protegernos? Parece que la regulación internacional está en camino. … Read More →
IA: Cómo detectar textos producidos por chatbox y sus plagios
Se consulta a la aplicación ChatGPT-3 sobre cuatro temas en discusión para la producción de textos académicos aceptables por los editores de las revistas científicas. A cada pregunta sigue la respuesta dada por la misma aplicación de OpenAI, y a continuación nuestra evaluación consultando fuentes recientes publicadas en Internet. Finalmente se presentan algunas reflexiones (humanas) que, como todas las cosas, están sujetas a discusión o cambios producidos por el avance de la tecnología. … Read More →
Inteligencia Artificial y comunicación de investigaciones
¿Son realmente los chatbots autores de artículos científicos? ¿Pueden ser jurídicamente responsables y tomar decisiones éticas? ¿Qué dicen las sociedades científicas, los editores de revistas, las universidades? ¿Pueden incluirse sus resultados en artículos científicos originales? A partir de la contribución que presentamos hoy iremos publicando sucesivos posts que intentarán responder estas interrogantes y las nuevas que vayan surgiendo. … Read More →
GPT, traducción automática y qué tan buenos son: una evaluación integral
Los modelos de inteligencia artificial generativos GPT han demostrado capacidades notables para la generación de lenguaje natural, pero su rendimiento para la traducción automática no ha sido investigado a fondo. Se presenta una evaluación exhaustiva de modelos GPT para la traducción automática, en comparación con los sistemas comerciales y de investigación más avanzados, incluyendo NMT, probado con textos en 18 idiomas. … Read More →
Reproducción & Replicación en investigación científica – parte 3
La repoducibilidad y la replicabilidad son un tema central cuando se discute la confiabilidad de la investigación científica. El intento de un segundo investigador para replicar un estudio anterior es un esfuerzo para determinar si la aplicación de los mismos métodos a la misma pregunta científica produce resultados similares. Pero en las ciencias sociales y humanas no se manejan los mismos paradigmas. … Read More →
Reproducción & Replicación en investigación científica – parte 2
En esta segunda nota sobre el tema atenderemos las pautas propuestas en 2019 por la NASEM. Analizaremos cómo se entiende la replicabilidad en las diferentes disciplinas científicas, mayormente en las ciencias experimentales, basadas en un paradigma computacional. Asimismo veremos opiniones desde otras disciplinas relacionadas con las ciencias sociales y medicina, que no participan de los mismos paradigmas epistemológicos. … Read More →
Reproducción & Replicación en investigación científica – parte 1
La replicabilidad es un tema central cuando se discute la confiabilidad de la investigación científica que se renueva en la promoción de la ciencia abierta. El intento de un segundo investigador para replicar un estudio anterior es un esfuerzo para determinar si la aplicación de los mismos métodos a la misma pregunta científica produce resultados similares. … Read More →
Barajar las cartas y volver a repartir
La investigación debe estar bien diseñada, llevarse a cabo correctamente y debe informarse de manera clara y transparente, porque la fiabilidad de los resultados depende del rigor del diseño experimental. Pero en los informes publicados parece haber una falta de compromiso entre los encargados de evaluar la calidad de la investigación. Los expertos han señalado que las estructuras de incentivos actuales en las instituciones de investigación no incentivan lo suficiente a los investigadores para invertir en solidez y transparencia y, en cambio, los incentivan a optimizar su aptitud en la lucha por publicaciones y subvenciones. En la última década, los estudios de replicación a gran escala han demostrado que la reproducibilidad está lejos de ser favorable en múltiples campos científicos, y aparece la prevalencia de prácticas de investigación cuestionables. Claramente algo no está funcionando en la empresa científica. … Read More →
Acceso Abierto e Investigaciones Cerradas ¿Quiénes se benefician con el APC?
Una investigación reciente publicada en Scientometrics plantea interrogantes acerca de consecuencias no previstas por la generalización de las publicaciones científicas en Acceso Abierto que tienen que ver con el crecimiento de los gastos totales y quiénes serían los beneficiarios económicos de este cambio de paradigma. … Read More →
La sociedad tiene fuerte demanda de ciencia de acceso abierto
El análisis de más de 1,6 millones de comentarios dejados en las descargas en las Academias Nacionales de Estados Unidos muestran que la mitad es de uso académico, y la otra mitad revela adultos de todo el país que buscan información de la más alta calidad para mejorar la forma en que hacen su trabajo, satisfacer su curiosidad y aprender. Conociendo la importancia de dicha información, se debería alentar a los formuladores de políticas a protegerla. … Read More →
Las estafas más recientes de las revistas depredadoras (o piratas)
La piratería y más directamente la estafa de los editores depredadores va creciendo en el mundo y es una preocupación creciente en la publicación académica que ha llamado la atención a los editores más serios. Este problema no es tan grave en la publicación científica de América Latina. … Read More →
Comentarios recientes