• Buscar

Comentarios sobre la probabilidad en los análisis de inteligencia

El Ejército norteamericano[i] y alguna Escuela de Negocios[ii], consideran que vivimos en un entorno VUCA, acrónimo de Volatilidad, Incertidumbre, Complejidad y Ambigüedad.

Otros autores, como el profesor Ziaudinn Sardar, hablan de “tiempos postnormales” caracterizados por la complejidad, el caos y la contradicción, que cuando se combinan con un cambio acelerado, solo pueden dar como resultado la incertidumbre y su protagonismo[iii].

Y para acentuar más estos tiempos cambiantes, los cisnes ya no son solo negros[iv] sino también grises[v], puesto que los sucesos altamente improbables, ya no lo son tanto, lo que era impensable hace pocos años resulta que ha sucedido[vi]. Los acontecimientos disruptivos han dejado de ser excepción y los escenarios tendenciales se muestran insuficientes incluso a corto y medio plazo.

En definitiva, la incertidumbre asociada al futuro es hoy más grande que nunca y una manera de reducirla es mediante análisis de inteligencia y expresarla a través de la probabilidad de ocurrencia de esos sucesos, aunque dicha expresión entrañe dificultades en su comprensión. Estos aspectos junto con otros que se consideran no suficientemente matizados sobre el tema, son los que se destacan en estos comentarios.

Cómo se expresa la probabilidad

Como se ha mencionado, se trata de especificar la posibilidad de ocurrencia de un hecho, futuro en el caso de unas hipótesis o escenarios prospectivos o del presente, pero desconocido, por ejemplo, las capacidades militares o tecnológicas de un adversario.

En la Comunidad de Inteligencia norteamericana, referencia habitual y omnipresente para todos los organismos de Inteligencia, llevan desde 1964 trabajando en ello (Words of Estimative Probability/Estimative language). A este respecto podemos citar por su autoridad, la Oficina del Director Nacional de Inteligencia de EE.UU que en su  Directiva 203 sobre Normas Analíticas de enero de 2015[vii], señalaba estos 7 intervalos:

Donde se especifican conceptos asociados a un intervalo de porcentaje (likely 60%-90%). Para asegurarse que esos términos significan lo mismo para el redactor y el lector, es frecuente encontrar esta Tabla al final de sus documentos.

Por su parte, la OTAN en su “NATO Standardization Agreemens, AJP 2.1 Allied Joint Doctrine for Intelligence Procedures”, establece estos cinco intervalos:

Por pertenecer España a esta organización, podría ser nuestra referencia preferente. Por supuesto, otros organismos como el Panel Intergubernamental sobre el Cambio Climático (IPCC), en su 4º Informe correspondiente a 2007, al estudiar el tratamiento de la incertidumbre[viii], era aún más exhaustivo, pues establecía 10 intervalos. En 2010, el 5º Informe del IPCC[ix] los redujo a los siete reflejados en la siguiente tabla.

Y cómo se entiende la probabilidad

A pesar de que es un tema ciertamente estudiado desde hace décadas y los esfuerzos de estas organizaciones en establecer marcos de referencia claros, se aprecia que sigue existiendo confusión en su interpretación, existiendo un debate, en entornos académicos, sobre las ventajas e inconvenientes de expresar la probabilidad en palabras, intervalos, dualmente o cifras exactas.

Un estudio de 2009[x] mostraba como existían grandes diferencias en la forma en que las personas entienden tales frases, y que su uso puede generar confusión y errores en la comunicación. Realizaron un experimento en el que los sujetos leían oraciones del informe del IPCC de 2007 y asignaban valores numéricos a los términos de probabilidad. Los juicios de los encuestados se desviaron significativamente de las pautas del IPCC, incluso cuando los encuestados tenían acceso a estas pautas.

En 2012, los mismos investigadores anteriores realizaron otro experimento, también sobre la forma de comunicar la incertidumbre en el IPCC[xi], llegando a la conclusión que el uso de una escala de descripción dual (verbal-numérica) sería superior al modo de comunicación utilizado (solo verbal).

En otro informe, uno de los autores anteriores, el profesor Budescu[xii], partía de la base de que “Las personas, abrumadoramente, prefieren comunicar la incertidumbre mediante el uso de términos verbales porque se les percibe como más naturales e intuitivos. La mayoría de las personas tienden a evitar el uso de valores numéricos precisos porque pueden implicar una falsa sensación de precisión” y volvía a destacar la conveniencia de que cada vez que se usa uno de los términos probabilísticos, se acompañe de un rango de valores numéricos.

En 2015, el investigador canadiense Alan Barnes[xiii], abogaba por el uso de probabilidades numéricas explícitas en la redacción y presentación de evaluaciones de inteligencia, ya que lleva a los analistas a prestar mayor atención a los juicios estimativos que hacen y permiten una clara evaluación de su certeza, al reducir la ambigüedad y vaguedad asociadas a los términos verbales. Sin embargo, consideraba que esto requería superar una aversión ampliamente compartida entre analistas y directivos de inteligencia a pensar en términos numéricos y también formar a los destinatarios de esos informes. Como todavía es un asunto poco desarrollado, se inclinaba por incluir estas probabilidades numéricas solo en un pequeño número de juicios clave que son de importancia central en el informe. Mientras, la inclusión de una tabla de términos verbales y sus probabilidades correspondientes podría ser un enfoque de compromiso más fácilmente aceptado, a pesar de que consideraba que también tenía limitaciones.

En 2017, la psicóloga inglesa Mandeep K. Dhami mostraba cómo los analistas utilizan un léxico mucho más amplio y heterogéneo que el recomendado, pudiendo generar problemas de comprensión en el decisor[xiv]

Por último, mencionar el extenso y heterogéneo “Assessment and Communication of Uncertainty in Intelligence to Support Decision-Making”[xv] elaborado por un Grupo de Trabajo OTAN, liderado por el investigador canadiense David Mandel, que requeriría un extenso análisis que excede el objetivo de este artículo.

Arañando puntos del porcentaje

En el mundo “VUCA” y cambiante de hoy, los porcentajes claros 80% versus 20% son poco usuales, engañosos y con seguridad, cambiantes. En todo caso, el impresionante 80% se compone de porcentajes más pequeños que sumados nos dan esa cifra todopoderosa. La fragmentación, atomización e incluso individualización en multitud de aspectos, son favorecidas por los medios tecnológicos existentes.

En economía, disponer de un porcentaje, aparentemente intrascendente, del 5% de las acciones de una empresa puede suponer ser el accionista mayoritario[xvi] e incluso disponer de una posición dominante en la misma.

En medicina conseguir tratamientos que mejoren un 10% su eficacia suponen un rotundo éxito. Algo similar podríamos decir en el rendimiento deportivo y en múltiples campos de la actividad humana: lucha por las audiencias, consumidores o votantes, ¿es distinto en la actividad “inteligencia”?.

El psicólogo norteamericano Philip Tetlock llegó a la conclusión de que las predicciones realizadas por los expertos fueron, en promedio, sólo ligeramente mejores que si hubieran sido realizadas al azar[xvii], si lográramos mejorarlas, aunque solo fuera un 10 ó un 12%, la diferencia con nuestros rivales nos otorgaría una ventaja decisiva.

Por otra parte, pocos pueden esperar a tener de entrada esa fuerza del 80%, por tanto, los demás deben empezar con un modesto porcentaje, tratando de sumar otros modestos porcentajes. Si se espera a tener una “masa crítica” decisiva (o meramente influyente), puede que nunca se dé el primer paso. Hemos comprobado como un país o empresa inicia un camino tomando medidas innovadoras (por ejemplo, en la lucha contra el cambio climático) y si van en la tendencia correcta, otros se van uniendo hasta alcanzar porcentajes mayoritarios e incluso dominantes, sumando y uniendo fuerzas, vencerían. La lucha por mejorar o conseguir porcentajes pequeños es clave, pero en ciertos campos todavía no está suficientemente reconocida.

Análisis y cálculo de probabilidades partiendo de datos objetivos (empíricos)

Partiendo de la organización en cuatro categorías de los métodos analíticos utilizados en inteligencia, establecida por Heuer y Pherson[xviii], una adaptación propia, relacionando naturaleza de los datos y metodología empleada, podría ser la siguiente:

Elaboración propia basada en Heuer y Pherson

En este apartado y el siguiente se expondrán algunos comentarios sobre probabilidad, datos cuantitativos y métodos.

Cuando se dispone de abundantes datos empíricos y con la potencia matemática de cálculo, la probabilidad de acierto teóricamente debería ser alta, sin embargo, no siempre es así en el campo de las Ciencias Sociales.

En ejemplos sobre beisbol y elecciones presidenciales de Estados Unidos[xix], se mostraba que aun contando con una completa Base de Datos estadística, unas reglas del juego (deportivo y político) cerradas y estrictas y con hipótesis de resultados limitadas a dos, las posibilidades de error eran altas, lógicamente si esas premisas se complican, más lo harán las posibilidades de acertar.

En esos ejemplos y teniendo en cuenta que los datos estaban a disposición de todos, el analista más preciso (Nate Silver), lo conseguía combinando métodos cuantitativos (algoritmo basado en datos estadísticos, depurado con el Teorema de Bayes) y cualitativos (opiniones de expertos, ojeadores y politólogos en los campos respectivos), estos últimos proporcionaban una adecuada interpretación de los datos. La clave sería no sólo las estadísticas de variables aisladas (al alcance de todos), sino captar la estructura subyacente del tema, las interrelaciones del sistema, identificando las relaciones relevantes entre los datos. Todo ello conseguía reducir la incertidumbre e incrementar el porcentaje de acierto.

Análisis y cálculo de probabilidades partiendo de datos subjetivos (generados por expertos)

En este caso los datos son menos abundantes, son generados por expertos que cuantifican información cualitativa, generalmente respuestas a preguntas y serían utilizados sobre todo en Probabilidad condicionada (probabilidad de que ocurra un suceso A cuando ocurra un suceso B): Teorema de Bayes, Método prospectivo de Impactos Cruzados o softwares de prospectiva.

La Comunidad de Inteligencia norteamericana también ha recurrido a estas técnicas, al menos desde 1968, que data su estudio sobre la Guerra de Corea utilizando el Teorema de Bayes[xx].

Tomando este teorema como ejemplo, para aplicar la fórmula matemática de Bayes y hallar la probabilidad resultante, se debe plantear el problema adecuadamente con unas hipótesis iniciales, cada una de ellas con una probabilidad inicial, asignadas por dichos expertos. El Teorema de Bayes además permite seguir actualizando las probabilidades resultantes cada vez que introduzcamos probabilidades nuevas (consecuencia de sucesos o evidencias nuevas), lo que permite afinar el resultado continuamente y constituye su mayor virtud, pues podría llegar a ser muy clarificador ya que no llegaríamos a esas conclusiones con unos razonamientos más convencionales al ser este método bastante poco intuitivo.

Pero si los expertos se equivocan en la cuantificación de las probabilidades, ya sea en las probabilidades iniciales o en otras (evidencias nuevas), el error se ira arrastrando y lógicamente lastrará el resultado, por mucho que estemos utilizando un método matemático. Creo que ninguna fórmula o software podría revertir esos errores, “solo” reflejará matemática o gráficamente los datos introducidos[xxi], por tanto, la exactitud en el resultado de la aplicación de estas herramientas matemáticas depende del acierto de los datos cualitativos traducidos en números y porcentajes por los expertos. En palabras del tutorial del software sobre Análisis de Hipótesis en Competencia: “aunque los cálculos de probabilidad bayesianos son matemáticamente correctos, los resultados no pueden ser más precisos que la multitud de juicios subjetivos sobre la evidencia que entra en el cálculo bayesiano”[xxii].

En resumen, tras aplicar una fórmula matemática el resultado mostrará una cifra incluso con decimales (67,35%, por ejemplo) que ofrece una imagen de infalible exactitud matemática que puede llegar a impresionar al decisor. Si es correcta, perfecto, pero si no lo es, puede que dicho decisor no vuelva a confiar en ese método o en quien le ha facilitado ese análisis.

Todo lo anterior no descarta su utilidad y necesidad, contrastada en estimaciones realizadas con estos métodos[xxiii] y destacada en otros artículos[xxiv], no debemos conocer y usar solo Técnicas Analíticas Estructuradas centradas mayoritariamente en metodología cualitativa.   Pero estas herramientas probabilísticas, como todas, requieren rigor en el proceso de aplicación (sobre todo en la asignación de porcentajes por los expertos) y una explicación al decisor de la cifra resultante.


[i] Shadrick, Scott B y Lussier, James W. (July 2004). “Assessment of the think like a Commander training program”. US Army research Institute. Disponible en: https://apps.dtic.mil/dtic/tr/fulltext/u2/a425737.pdf

[ii] Harvard Business Review. (varios años).   https://hbr.org/search?search_type=&term=VUCA 

[iii] Sardar, Ziaudinn. (June 2010). “Welcome to postnormal times”. Futures Volume 42, Issue 5,  Pages 435-444. Disponible en: https://postnormaltim.es/sites/default/files/uploads/Sardar%20content/2.%20Sardar%20-%20Welcome%20to%20PNT.pdf  

[iv] Sucesos de alto impacto y muy improbables, según Nassim Nicholas Taleb, en su libro de 2007 “El Cisne Negro. El impacto de lo altamente improbable”. Paidos Iberica

[v] Masys, Anthony J. (2012). “Black swans to grey swans revealing the uncertainty”. Disaster prevention and management: an international journal, 21, nº3. Pags 320-335. Disponible en:

https://www.emerald.com/insight/content/doi/10.1108/09653561211234507/full/html?src=recsys&fullSc=1&mbSc=1&fullSc=1

[vi] En preparación por el autor de un articulo sobre los cisnes grises y el método de análisis What if?, Que pasaría si?

[vii] Office of the Director of National Intelligence. (2 Enero 2015). “Analytic Standars. Intelligence Community Directive, ICD 203. Disponible en: https://www.dni.gov/index.php/what-we-do/ic-related-menus/ic-related-links/intelligence-community-directives

[viii] IPCC Fourth Assessment Report: Climate change 2007. 1.6 The IPCC Assessments of climate change and uncertainties. Disponible en: https://archive.ipcc.ch/publications_and_data/ar4/wg1/en/ch1s1-6.html

[ix] “Guidance Note for Lead Authors of the IPCC Fifth Assessment Report on Consistent Treatment of Uncertainties”. (2010). Disponible en: https://www.ipcc.ch/site/assets/uploads/2017/08/AR5_Uncertainty_Guidance_Note.pdf 

[x] Budescu, David V; Broomell, Stephen y Por, Han-Hui. (2009). ‘Improving Communication of Uncertainty in the Reports of the Intergovernmental Panel on Climate Change’, Psychological Science 20/3. 2009 pp.299–308.). Disponible en: https://journals.sagepub.com/doi/abs/10.1111/j.1467-9280.2009.02284.x?rfr_dat=cr_pub%3Dpubmed&url_ver=Z39.88-2003&rfr_id=ori%3Arid%3Acrossref.org&journalCode=pssa

[xi] Budescu, David V; Broomell, Stephen y Por, Han-Hui. (2012). ”Effective communication of uncertainty in the IPCC report”. Disponible en: https://www.researchgate.net/publication/233757461_Effective_communication_of_uncertainty_in_the_IPCC_reports 

[xii] Budescu, David V. (2016). “Improving communication of uncertainty in the IPCC reports”. IPCC Expert Meeting on Communication, Oslo, Norway, 9-10 February 2016. Disponible en: https://www.ipcc.ch/site/assets/uploads/2016/02/Budescu_IPCC_Communication_Meeting_OSLO_February_2016.pdf 

[xiii] Barnes, Alan. (2016). “Making Intelligence Analysis More Intelligent: Using Numeric Probabilities”. Intelligence and National Security, 31:3, 327-344, DOI: 10.1080/02684527.2014.994955  Disponible en:  http://dx.doi.org/10.1080/02684527.2014.994955   

[xiv] Dhami, Mandeep K. (2017). “Towards an evidence-based approach to communicating uncertainty in intelligence analysis”, Intelligence and National Security, DOI: 10.1080/02684527.2017.1394252. Disponible en:  http://dx.doi.org/10.1080/02684527.2017.1394252

[xv] Grupo de Trabajo OTAN/STO SAS-114. (Aug 2019). “Assessment and Communication of Uncertainty in Intelligence to Support Decision-Making” Final report. Disponible en: https://www.researchgate.net/publication/334974849_Assessment_and_Communication_of_Uncertainty_in_Intelligence_to_Support_Decision_Making_Final_Report_of_Research_Task_Group_SAS-114

[xvi] M. Mora/F.Fernández. (2019). “Amancio Ortega, máximo accionista de Enagás, tras comprar el 5 % por 280 millones” La Voz de Galicia 19/12/2019. Disponible en: https://www.lavozdegalicia.es/noticia/economia/2019/12/19/amancio-ortega-compra-5-gasistica-enagas/00031576752589171446767.htm

[xvii] Toboso, Fernando. (2016). “Grado de acierto de estimaciones y pronósticos. criterios de evaluación de la metodología y de la calidad de los análisis”.Instituto Español de Estudios Estratégicos. 11 de abril de 2016. Disponible en: http://www.ieee.es/Galerias/fichero/docs_marco/2016/DIEEEM12-2016_Metodologia_CalidadAnalisis_FernandoToboso.pdf

[xviii] Heuer, Richard J., Pherson, Randolph H. (2008). “Taxonomy of Structured Analytic Techniques”. International Studies Association2008 Annual Convention. March 26 –29, 2008 Disponible en: http://www.pherson.org/wp-content/uploads/2013/06/03.-Taxonomy-of-Structured-Analytic-Techniques_FINAL.pdf

[xix] Toboso, Fernando. (2016). “Grado de acierto de estimaciones y pronósticos. criterios de evaluación de la metodología y de la calidad de los análisis”.Ibid

[xx] CIA, Intelligence Report. (1 jun1968). “BAYES’ THEOREM IN THE KOREAN WAR”.  Disponible en: https://www.cia.gov/library/readingroom/document/0001205738

[xxi] A este respecto es ilustrativo el apartado “Identificación de variables clave. Versión B: con programa informático MICMAC” del artículo “Construyendo escenarios sin grupo de expertos. escenarios de futuro en Mali”. Toboso, Fernando. (2014).Instituto Español de Estudios Estratégicos. 7 de agosto de 2014. Disponible en: http://www.ieee.es/Galerias/fichero/docs_opinion/2014/DIEEEO86-2014_ConstruyendoEscenariosSinGruposExpertos_Mali_F.Toboso.pdf

[xxii] ACH Manual. When to use ACH. A warning. Disponible en: http://competinghypotheses.org/docs/When_To_Use_ACH

[xxiii] Somiedo, Juan Pablo. (2018). “El análisis bayesiano como piedra angular de la inteligencia de alertas estratégicas”, Revista de Estudios en Seguridad Internacional, Vol. 4, No. 1, pp. 161-176.  DOI: http://dx.doi.org/10.18847/1.7.10. Disponible en: http://www.seguridadinternacional.es/revista/?q=content/el-an%C3%A1lisis-bayesiano-como-piedra-angular-de-la-inteligencia-de-alertas-estrat%C3%A9gicas

[xxiv] Toboso, Fernando. (2016). “Grado de acierto de estimaciones y pronósticos. criterios de evaluación de la metodología y de la calidad de los análisis”.Ibid

Avatar
Fernando Toboso Marqués

Teniente Coronel (R) del Ejército de Tierra y profesor de metodología de análisis en CISDE

Ver todos los artículos
Avatar Fernando Toboso Marqués