El fenómeno de control burocrático de la población y la manera en que los miembros de esta población, sintiéndose controlados, establecen el comportamiento aceptable, no ha surgido con las redes sociales, ni tampoco con Internet.
En realidad, éste precede la informática moderna y puede remontarse, al menos, a la voluntad del despotismo ilustrado y las primeras democracias liberales de establecer políticas racionales a partir del estudio racional de la realidad.
Las monarquías absolutistas de las potencias europeas se ocuparán de mejorar el catastro, los certificados de nacimiento y defunción (hasta entonces una cuestión eclesiástica), así como los registros de transmisión de bienes, registros mercantiles, etc. Las constituciones surgidas de la independencia estadounidense y la Revolución francesa se esmerarán en dar un estatuto jurídico claro a la propiedad privada, integrándola entre las «libertades individuales».
Una aspiración de la modernidad: cuantificar el mundo
A medida que esta cuantificación de la sociedad se acelera, surgen nuevas necesidades: la educación pública, los sanatorios y los nuevos sistemas penitenciarios evolucionarán de acuerdo con la mentalidad racionalista de la época.
Predictim‘s black-box algorithm analyzes babysitters‘ social media accounts, reducing them to a single fit score. Beyond disgusting. Downright evil.
Social media algorithms prod you to be the worst/fake you can be, hiring algorithms reject you for it. https://t.co/fi0NlZsTBV
— DHH (@dhh) November 24, 2018
Michel Foucault estudia este proceso en sus principales ensayos sobre el establecimiento de sistemas burocráticos para ejercer un control sobre la población que tendrá una nueva calidad: el ciudadano, sintiéndose vigilado por una burocracia institucional compuesta por agrimensores, policías, doctores, maestros, jueces o alguaciles, procura no cruzar las líneas de lo considerado como aceptable o deseable en cada época.
China moves a step closer to its dystopian social score system. As I argue in The People Vs Tech: highly efficient data driven surveillance – powered by smart machines & dumb autocrats – is the likely dystopia for us, too. Data privacy now is our defence. https://t.co/P3L8vkstqp pic.twitter.com/H2Jdcyx9jQ
— Jamie Bartlett (@JamieJBartlett) November 27, 2018
Este «panoptismo» estará representado por el diseño de las nuevas escuelas, prisiones, sanatorios y hospitales, edificios intercambiables en los que el control burocrático se ejerce por diseño: el ciudadano es consciente de que su individualidad equivale al fichero que la burocracia almacena y —supuestamente— actualiza sobre él, y evita fricciones con este poder invisible y absoluto (cuya omnipresencia sustituye, en cierto modo, a la idea de Dios), que le vigila desde la torre central del edificio de celdas circulares en que, conceptualmente, se ha convertido la sociedad burocrática.
El origen compartido de prisiones, hospitales, escuelas y sanatorios
El filósofo utilitarista Jeremy Bentham es el autor del panóptico, si bien su diseño de la cárcel ideal es más una metáfora de su visión ideal de la sociedad, preponderante desde entonces. Influido por las reflexiones de Friedrich Nietzsche acerca de los peligros de considerar que el mecanicismo puede medir en realidad al ser humano, Max Weber, primer sociólogo de la modernidad, tildará esta aceleración de la burocracia que lo quiere medir todo como una «jaula de hierro» de la que es imposible escapar.
Ideas racionalistas de la época pervertirán hasta niveles hoy insoportables esta voluntad de cuantificar y «purificar» las sociedades más avanzadas, sirviéndose de nuevas «ciencias» como la eugenesia y sus aplicaciones «reformadoras» (la criminología, la psiquiatría evolucionista, etc.): los gobiernos supuestamente «progresistas» de finales del siglo XIX apoyarán esta cuantificación y «reforma» de la sociedad.
11m people are unable to fly and 4m people unable to use trains in China due to low social scores.
Learn what a social score is and how the Chinese government is using them to 'purify society'. pic.twitter.com/uMGFogDbgs
— Dr Ola Brown (Orekunrin) (@NaijaFlyingDr) November 23, 2018
La evolución de la mentalidad panóptica de la burocracia moderna alcanzará el máximo nivel de aberración cuando, influidos por la «modernidad» y el futurismo, los movimientos fascistas y revolucionarios integren la última tecnología para medir el horror con exactitud: los archivos sobre elementos «desviados» de la sociedad, desde ciudadanos con minusvalías a minorías sexuales y artistas «degenerados», pasando por minorías étnico-religiosas, serán pulcramente mantenidos y usados, en el caso del Tercer Reich, para aplicar esterilizaciones forzadas, aplicar la eutanasia a enfermos considerados «indeseables», y ejecutar la «solución final de la cuestión judía».
Aberraciones cuantificadas
Amén (2002), la película de Costa-Gavras (basada en la obra de teatro El vicario —Rolf Hochhuth, 1963—) sobre la pasividad de la Iglesia ante el exterminio de judíos, tiene el mérito de mostrarnos hasta qué punto la burocracia desprovista de una ética aceptable puede conducir al abismo hasta a las sociedades más cultivadas.
“Governance” – the invisible excercise of private power in shaping individual behavior – is good. Bring it on, with nudging & gamification on top!
“Social credit” – the visible excercise of state power in shaping individual behavior – is bad. China, totalitarianism, etc
Got it?
— Evgeny Morozov (@evgenymorozov) November 25, 2018
El extremo aberrante de la sociedad burocrática ocultará una realidad evidente: la sociedad cuantificadora funcionará, en esencia, del mismo modo en las sociedades liberales y en las que caerán en derivas totalitarias: el uso del sistema de contabilidad con tarjetas perforadas de IBM asistió al Tercer Reich en su censo de la población judía, si bien esta misma política burocrática —mantener un censo de elementos señalados por el sistema debido a la detección automatizada de alguna «anomalía»— fue aplicada a «indeseables» en países libres de sospecha totalitaria hasta tiempos recientes.
Basta leer Yonki (William Burroughs, 1953) o Alguien voló sobre el nido del cuco (Ken Kesey, 1962), para comprobar cómo los métodos institucionalizados de disciplina y control se convierten en un servicio ubicuo más, tan imperceptible como el agua corriente o el tráfico rodado.
Contrary to popular media coverage, there is no such thing as a national “social credit score" in China. https://t.co/71G3edb8yD
— Foreign Policy (@ForeignPolicy) November 26, 2018
Michel Foucault estudiará en sus últimos años, entre 1979 y los cursos del Collège de France de 1984, las maneras en que la sociedad postmoderna subjetivará este control percibido de la sociedad burocrática, englobando el fenómeno en torno a un concepto: el gubernamentalidad, o mecanismos en que la sociedad influye sobre la población para generar ciudadanos considerados «aptos».
La distopía de puntuar la vida cotidiana
La cibernética ha acelerado este proceso de cuantificación del que ya hablaba Max Weber al referirse a la «jaula de hierro», y hoy reflexionamos sobre los procesos de vigilancia automatizada que leemos en los clásicos de la ciencia ficción con cierto fatalismo.
Un ejemplo personal: en los últimos días, se acumulan en la aplicación que uso para almacenar artículos que luego repasaré un puñado de historias sobre los síntomas menos deseables del avance de esta cuantificación de lo real: ante las noticias sobre la implantación en China de un sistema de clasificación de ciudadanos en función de su comportamiento socioeconómico, otros artículos se apresuran a recordarnos que no, que no es para tanto.
La Brookings Institution y Foreign Policy tratan de aclarar el tema.
China no ha implantado un sistema electrónico de clasificación de ciudadanos en tiempo real. Quizá no lo haya hecho todavía pero, eso sí, la información existente sobre la puntuación crediticia de la población (un fichero, por cierto, implantado en cualquier sociedad contemporánea, incluidas las democracias con la mayor puntuación de prosperidad y salvaguarda de libertades), permite al gobierno chino discriminar a los ciudadanos que considera «deseables» de los «indeseables».
Por ejemplo, 11 millones de personas no pueden volar y 4 millones de personas no pueden usar el tren en China debido a una puntuación «baja» en diversos indicadores.
El peligro de los incentivos negativos
Mientras tanto, quienes se sientan protegidos de este panoptismo cuantificador que reflexionen sobre la información y publicidad que les sigue al usar la Red.
Quienes creyeron que un mundo en que una adolescente es rechazada como canguro porque una aplicación de rastreo ha hecho un cálculo automatizado y considerado que su perfil no es apto para las demandas de los padres, estaban equivocados.
“We have the two best AIs of the world, on Instagram and YouTube, competing to convince people that earth is flat. Because it yields large amounts of watch time, and watch time yields ads. It reveals structural problem in Google's and Facebook's AIs.” https://t.co/of2DAHPUzQ
— Borzou Daragahi 🖊🗒 (@borzou) November 25, 2018
Todavía estamos a tiempo para, en lugar de recurrir a una aplicación que encienda la antorcha panóptica en torno a nosotros para darnos la falsa impresión de que controlamos el mundo, descolguemos el teléfono y llamemos a ese ser humano que nos atenderá al otro lado de la línea.
Quizá tengamos tiempo y empatía suficientes para comportarnos, durante un instante, con las cualidades vitalistas propias de nuestra especie, percibiendo el poso humanista de la civilización de la que formemos parte. Pertenezcamos o no a ese derivativo burocratizado que Nietzsche asoció con el concepto de «último hombre».