{"id":307,"date":"2025-11-14T12:17:14","date_gmt":"2025-11-14T11:17:14","guid":{"rendered":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/?p=307"},"modified":"2025-11-24T16:45:07","modified_gmt":"2025-11-24T15:45:07","slug":"ia-y-tecnologia","status":"publish","type":"post","link":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/ia-y-tecnologia\/","title":{"rendered":"IA y tecnolog\u00eda"},"content":{"rendered":"\n<h2 class=\"wp-block-heading has-large-font-size\">Justo&nbsp;Hidalgo, doctor en Ciencia de Datos: \u201cExisten capacidades que surgen de la IA a partir de cierta complejidad y son impredecibles\u201d<\/h2>\n\n\n\n<h2 class=\"wp-block-heading\">El ingeniero en inform\u00e1tica responsable de inteligencia artificial en Adigital aborda en un nuevo libro las habilidades emergentes, imprevistas y de consecuencias inesperadas de los sistemas<\/h2>\n\n\n\n<p>La vinculaci\u00f3n entre filosof\u00eda, moral y tecnolog\u00eda vive una emergencia en sus dos acepciones: resurgimiento y urgencia. Justo Hidalgo, nacido en Madrid hace 51 a\u00f1os, es director de inteligencia artificial (IA) y vicepresidente de la Asociaci\u00f3n Espa\u00f1ola de la Econom\u00eda Digital (<a href=\"https:\/\/www.adigital.org\/\" target=\"_blank\" rel=\"noopener\">Adigital<\/a>), que a\u00fana a medio millar de compa\u00f1\u00edas, incluidas muchas de las grandes tecnol\u00f3gicas. Autor de tres libros, ha lanzado este a\u00f1o&nbsp;<a href=\"https:\/\/www.patternsofemergence.com\/\" target=\"_blank\" rel=\"noopener\"><em><u>Patterns of emergence: how complexity drives artificial intelligence<\/u><\/em><\/a>(Amazon, 2025. Por ahora solo en ingl\u00e9s), donde aborda c\u00f3mo los sistemas complejos desarrollan \u201chabilidades emergentes\u201d, capacidades imprevistas y de consecuencias inesperadas. Para algunos autores, ponen en peligro la humanidad. <\/p>\n\n\n\n<p><strong>Pregunta<\/strong>. \u00bfQu\u00e9 son los patrones emergentes?<\/p>\n\n\n\n<p><strong>Respuesta<\/strong>. En la naturaleza, en la sociedad o en la IA hay muchos ejemplos. Podemos hablar de c\u00e9lulas, de hormigas, de aves, de \u00e1tomos o de nodos en una red neuronal. Son elementos que, aparentemente, no tienen inteligencia y se comportan de forma sencilla, pero que, cuando alcanzan un cierto nivel de complejidad, adquieren caracter\u00edsticas muy interesantes. Pensemos en las c\u00e9lulas que forman tejidos y estos, \u00f3rganos con caracter\u00edsticas que no tienen los elementos que lo componen. En el \u00e1mbito de la inteligencia artificial estamos viendo c\u00f3mo ciertos modelos de lenguaje, a partir de cierta complejidad \u2014se habla de 100.000 millones de par\u00e1metros\u2014 empiezan a tener algunas caracter\u00edsticas de propiedades emergentes. El caso m\u00e1s conocido es el de la traducci\u00f3n de idiomas: a un sistema entrenado para ingl\u00e9s y espa\u00f1ol, le pasas un par de ejemplos de otros idiomas y los entiende porque adquieren una percepci\u00f3n m\u00e1s amplia.<\/p>\n\n\n\n<p><strong>P<\/strong>. Advierte Stuart Russell, profesor e investigador de computaci\u00f3n en la&nbsp;<a href=\"https:\/\/humancompatible.ai\/\" target=\"_blank\" rel=\"noopener\">Universidad de California (UC) Berkeley<\/a>, contra los \u201csistemas inseguros y opacos, mucho m\u00e1s poderosos que nosotros mismos, especialmente cuando no sabemos c\u00f3mo funcionan\u201d. \u00bfPueden estos patrones emergentes poner en peligro la humanidad?<\/p>\n\n\n\n<p><strong>R<\/strong>. Se est\u00e1 demostrando que existen esas propiedades emergentes y quiz\u00e1s alg\u00fan d\u00eda seamos capaces de explicarlas, pero lo importante es que existen capacidades que van surgiendo a partir de cierta complejidad y son impredecibles o no alineadas. No sabemos cu\u00e1ndo y en qu\u00e9 medida van a ocurrir y esto implica que los modelos tienen que ser primero controlados y gobernados y segundo, saber c\u00f3mo deben ser utilizados por parte de las empresas. No vale con hacer unas pruebas que las pase. Desde el punto de vista de la responsabilidad y la seguridad, tenemos que desarrollar maneras de medir comportamientos que puede que no existieran hasta ese momento y nos pueden afectar. Ya hay investigaciones sobre falta de alineamiento de modelos; es decir, que t\u00fa le pides una cosa a la IA y el resultado va por otro lado porque piensa que es mejor. No tenemos que ponernos nerviosos ni abandonar la IA, porque es muy relevante, pero tenemos que exigir las pruebas adecuadas, que se cumplan y ser conscientes de que no es un programa b\u00e1sico como los que han existido hasta ahora.<\/p>\n\n\n\n<figure class=\"wp-block-gallery has-nested-images columns-default is-cropped wp-block-gallery-1 is-layout-flex wp-block-gallery-is-layout-flex\">\n<figure class=\"wp-block-image size-large\"><img loading=\"lazy\" decoding=\"async\" width=\"1024\" height=\"683\" data-id=\"348\" src=\"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-content\/uploads\/2025\/11\/artificial-intelligenc-55-1024x683.jpg\" alt=\"\" class=\"wp-image-348\" srcset=\"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-content\/uploads\/2025\/11\/artificial-intelligenc-55-1024x683.jpg 1024w, https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-content\/uploads\/2025\/11\/artificial-intelligenc-55-300x200.jpg 300w, https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-content\/uploads\/2025\/11\/artificial-intelligenc-55-768x512.jpg 768w, https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-content\/uploads\/2025\/11\/artificial-intelligenc-55-1536x1024.jpg 1536w, https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-content\/uploads\/2025\/11\/artificial-intelligenc-55.jpg 1920w\" sizes=\"auto, (max-width: 1024px) 100vw, 1024px\" \/><\/figure>\n<\/figure>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p><strong>\u00abTenemos que desarrollar maneras de medir comportamientos que puede que no existieran hasta ese momento y nos pueden afectar\u00bb<\/strong><\/p>\n<\/blockquote>\n\n\n\n<p><strong>P.<\/strong>\u00bfQu\u00e9 es lo que denomina \u201cnaturaleza de caja negra\u201d?<\/p>\n\n\n\n<p><strong>R<\/strong>. Si le pides a un autom\u00f3vil aut\u00f3nomo que te diga por qu\u00e9 se ha ido a la izquierda y no a la derecha, el modelo dir\u00e1: \u2018mira, aqu\u00ed lo tienes\u2019. Y te mostrar\u00e1 las conexiones de miles de millones de nodos. Pero no vamos a entenderlo. Tiene que haber tambi\u00e9n un trabajo, y lo est\u00e1 habiendo, para conseguir que los sistemas nos expliquen el porqu\u00e9 est\u00e1n tomando las decisiones.<\/p>\n\n\n\n<p><strong>P.<\/strong>&nbsp;\u00bfPodr\u00e1n autorreplicarse las m\u00e1quinas?<\/p>\n\n\n\n<p><strong>R.<\/strong>&nbsp;Que se sepa, no ha ocurrido. No digo que no sea posible, porque hay peque\u00f1os ejemplos, pero estos no son significativos. Una cosa es el conocimiento que yo puedo tener sobre m\u00ed mismo y otra es la capacidad que yo puedo tener de generarme a m\u00ed mismo de una manera ampliada. Lo veo como un tema de seguridad m\u00e1s a largo plazo.<\/p>\n\n\n\n<p><strong>P.<\/strong>&nbsp;\u00bf<a href=\"https:\/\/elpais.com\/tecnologia\/2025-09-26\/pilar-manchon-directora-de-ia-de-google-en-cada-revolucion-industrial-los-trabajos-se-transforman-no-se-destruyen-esta-vez-es-mucho-mas-rapido.html\" target=\"_blank\" rel=\"noopener\">Hacia d\u00f3nde vamos<\/a>?<\/p>\n\n\n\n<p><strong>R.<\/strong>&nbsp;El siguiente paso ser\u00eda la superinteligencia, sistema que es m\u00e1s listo que cualquiera de nosotros. No tiene que ver con la conciencia, sino con una m\u00e1quina que, ante cualquier pregunta que le hagas, va a responder mejor que cualquier ser humano, que el experto m\u00e1s experto. No va a ser un robot con el que podemos tener conversaciones o un cient\u00edfico que va a curar el c\u00e1ncer, sino que ser\u00e1 una IA capaz de ser el mejor ingeniero del mundo, de generar adecuadamente los experimentos relevantes. No nos llevar\u00e1 a la autorreplicaci\u00f3n pura, pero s\u00ed que acelerar\u00e1 el proceso de generaci\u00f3n de ideas, tanto para bien como para mal.<\/p>\n\n\n\n<p><strong>P.&nbsp;<\/strong>\u00bfEn qu\u00e9 sentido \u201cpara mal\u201d?<\/p>\n\n\n\n<p><strong>R.<\/strong>&nbsp;Me llama especialmente la atenci\u00f3n la alineaci\u00f3n, cuando el sistema se comporta de una manera que no est\u00e1 alineada con lo que nosotros pens\u00e1bamos. Eso puede ir creciendo, sobre todo, por la falta de control y, si empezamos a correr demasiado, la sociedad no va a ser capaz de reaccionar adecuadamente. Despu\u00e9s est\u00e1n los agentes [sistemas capaces de tomar decisiones en nombre del usuario]. Nos van a ayudar en muchos aspectos y, en este sentido, soy pragm\u00e1tico y optimista, pero el rol del usuario puede pasar a ser el de gestor de un conjunto de agentes y que falte control humano.<\/p>\n\n\n\n<p>Noticia extra\u00edda del peri\u00f3dico El Pa\u00eds. El enlace directo a la noticia es el siguiente: <a href=\"https:\/\/elpais.com\/tecnologia\/2025-11-13\/justo-hidalgo-doctor-en-ciencia-de-datos-existen-capacidades-que-surgen-de-la-ia-a-partir-de-cierta-complejidad-y-son-impredecibles.html\" target=\"_blank\" rel=\"noopener\">https:\/\/elpais.com\/tecnologia\/2025-11-13\/justo-hidalgo-doctor-en-ciencia-de-datos-existen-capacidades-que-surgen-de-la-ia-a-partir-de-cierta-complejidad-y-son-impredecibles.html<\/a><\/p>\n\n\n\n<p><\/p>\n\n\n\n<p><\/p>\n\n\n\n<p><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Justo&nbsp;Hidalgo, doctor en Ciencia de Datos: \u201cExisten capacidades que surgen de la IA a partir de cierta complejidad y son impredecibles\u201d El ingeniero en inform\u00e1tica responsable de inteligencia artificial en Adigital aborda en un nuevo libro las habilidades emergentes, imprevistas y de consecuencias inesperadas de los sistemas La vinculaci\u00f3n entre filosof\u00eda, moral y tecnolog\u00eda vive [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":348,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[40,1],"tags":[],"class_list":["post-307","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actividad-1","category-sin-categoria"],"_links":{"self":[{"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/posts\/307","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/comments?post=307"}],"version-history":[{"count":2,"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/posts\/307\/revisions"}],"predecessor-version":[{"id":350,"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/posts\/307\/revisions\/350"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/media\/348"}],"wp:attachment":[{"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/media?parent=307"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/categories?post=307"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/gicd.inf.um.es\/csidper\/usuario35\/wp-json\/wp\/v2\/tags?post=307"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}