Hace unos días y tras un período de prueba, me volví a ver —después de muchos años— con una suscripción de software de ofimática perteneciente a una compañía que había dejado de usar.
Llegó el momento de descargar la versión móvil. Entonces, observé hasta qué punto deberíamos revisitar los trabajos de sociología y filosofía que tratan de explicar un fenómeno al que todos asistimos y experimentamos de una manera u otra, el del creciente encasillamiento burocrático de toda nuestra actividad.
Al tratar de descargar las nuevas aplicaciones, por cuya suscripción había pagado, me encontré con un mensaje de la tienda móvil que uso: deberías descargar estas aplicaciones en la tienda de Estados Unidos, y no en la de [país europeo donde resido].
Deduje buena parte del conflicto: la licencia, adquirida en Europa y con euros como moneda, entró en conflicto con nuestra presencia asidua en Estados Unidos, donde también hemos adquirido software.
De la hiperrealidad teórica a «Mirrorworld»: la realidad y su representación
Lo que imaginé es que el único modo de evitar este bloqueo de algoritmos por software que había adquirido legalmente consistía en hablar con Kirsten (el otro usuario de las aplicaciones) y hacerle cambiar el país por defecto de su tienda de aplicaciones en el teléfono móvil.
Conclusión: esta compañía, con la que hace años que no tengo relación, pudo asegurarse no sólo de que había pagado por el software, sino de que éste era usado en los términos burocráticos para los que ha sido diseñado (licencia familiar para miembros que compartan las preferencias geográficas del tenedor del contrato).
La empresa que me obligó a descargar su software móvil en sus términos es competidora del fabricante del móvil y la tienda de aplicaciones que empleamos, lo que implica que las modalidades de rastreo actuales permiten a las empresas privadas emplear técnicas coercitivas similares a las ejecutadas por las administraciones.
La presencia activa de muchos de nosotros en la Red desde los años 90 nos convierte en espectadores y participantes de una de las mayores paradojas del mundo híbrido, físico y digital (el «mundo espejo», hiperrealidad según Jean Baudrillard —Cultura y simulacro—; o «mirrorworld», según Kevin Kelly) en que nos adentramos: la herramienta que debía liberarnos de las cadenas institucionales expuestas metafóricamente por Kevin Kelly en «Alguien voló sobre el nido del cuco», no es más que la última expresión de este proceso de racionalización de la existencia.
Un largo proceso normativo
Internet se constituyó como promesa de libertad para superar la rigidez y tendencias domesticadoras de la maquinaria burocrática en las sociedades modernas… y ha acabado acelerando el marco institucional y racional que «orienta» (de manera coercitiva) nuestra vida desde nuestra concepción a más allá de nuestra muerte (pues la huella digital de nuestra actividad permanece después de la fallida definitiva de nuestras constantes vitales).
A diferencia de bases de datos tradicionales, como los registros eclesiásticos o el registro civil moderno —este último, fraguado durante el despotismo ilustrado y la Ilustración—, nuestro rastro en la Red es tan sofisticado que puede conceder a entidades privadas perspectivas sobre nuestra vida y comportamiento de las que ni siquiera nosotros somos conscientes.
El sociólogo Max Weber creyó ver en la sociedad moderna un nuevo tipo de control, capaz de mantener una cierta ilusión de libre albedrío y, a la vez, implacable con el control efectivo del comportamiento individual y colectivo, gracias tanto a la promoción de sistemas de valores como al uso de métodos coercitivos y de castigo para «orientar» una existencia normalizada y normativizada. El individuo se mantenía en el redil y, si no lo hacía, había mecanismos para lograrlo.
Hasta la Ilustración, burocracia, cuerpo legal y ética (esta última, dependiente de la institución eclesiástica) habían manado de un sistema basado en reglas o normas escritas. La rigidez de la norma, la «deontología», emparentaba la burocracia del despotismo ilustrado con la tradición del derecho romano y su heredero institucional, la Iglesia.
Libertad con camisa de fuerza: los límites del pragmatismo
Con la Ilustración, los métodos normativos y coercitivos empezaron a mutar desde la «deontología», o rígido sistema de valores (perspectivas y construcciones sobre lo justo, lo adecuado, lo verdadero, etc.) a otro sistema orientado a lograr unos resultados (o «consecuencias») de manera pragmática.
Este pragmatismo, llamado «teleología» o consecuencialismo, impregnó de tal modo la sociedad que el control social se basó en el cálculo racional (o «científico») de la utilidad o eficiencia de cada ciudadano.
La relación secular con la tierra y el trabajo, o la propia relación con familiares y conciudadanos, mutó desde un mundo de ideales a los que aspirar a otro en que no importaban tanto los ideales como la demostración burocrática de unos valores «útiles» para la sociedad: salud, educación, empleo, contribución tributaria, participación en la sociedad civil… El utilitarismo no sólo hizo inventario del derecho sobre la tierra y la producción de bienes, sino de nuestras acciones.
A massive data leak of Ecuador’s population exposes government and bank records, license plates, car registration, & home addresses — 20.8 million records including from children under 1 year old.
The data appears to have been amassed by private data analytics firm Novaestrat. https://t.co/Nkom1p6dWT
— Lindsay P. Gorman (@LindsayPGorman) September 16, 2019
El rastreo de nuestra existencia no empieza con las redes sociales, ni con Internet, ni siquiera con los primeros medios de propaganda de masas, sino con el surgimiento de la maquinaria burocrática moderna en el siglo XIX, a menudo tan bizantina como la del Imperio Austrohúngaro pero con aspiraciones maquinistas que pudieran encorsetar a cada miembro de una sociedad.
El sistema implacable y desalmado que trata de «normativizarnos» carece de rostro y de humanidad, y es movido por la inercia. O esta es, al menos, la impresión sobre la racionalización de vida social y acciones iniciada con los primeros catastros modernos y que culmina hoy con bases de datos de empresas transnacionales capaces de imponer en la práctica lo que hemos «acordado» con ellas en una oscura licencia de software que hemos aceptado sin leer.
¿Es posible florecer en una jaula de hierro?
Max Weber llamó «jaula de hierro» a esta implacable y coercitiva inercia socializadora. Autores como Franz Kafka (él mismo participante, en tanto que sujeto sensible e inadaptado de la minoría maltratada de Centroeuropa y ciudadano del Imperio Austrohúngaro en descomposición, de la aceleración burocrática), se conformaron con escribir sobre el carácter aleatorio y deshumanizado de esta burocracia sin rostro.
La controversia política actual en el Reino Unido se ha transformado en una crisis de Estado sin precedentes debido a la naturaleza teleológica de la doctrina jurídica del Reino Unido: al fundamentarse en la tradición de la «common law» y no en códigos escritos en forma de marco jurídico (por ejemplo, una Constitución), la Ley británica depende de la interpretación «responsable» del procedimiento.
We forget both common law and Roman/positive law rely on the responsibility of the interpreters. If all you get is angry nutters, no code will shield you from some fairly nasty entanglements.
— Nicolás Boullosa (@faircompanies) September 10, 2019
Cuando este modelo «consecuencialista» (o prágmático, orientado a lograr la máxima utilidad, y no a cumplir con supuestas normas morales predefinidas) no se interpreta con responsabilidad, como ocurre en estos momentos en el Parlamento británico, el sistema deja, simplemente, de funcionar.
Por el contrario, un código escrito (o deontológico, como el estatuto jurídico de los países de la Europa continental, que siguen la tradición del derecho romano y tienen códigos predefinidos) puede imponer su contenido incluso en momentos de crisis, desacuerdo o irresponsabilidad de ciudadanos o representantes públicos.
Herederos de una lectura utilitarista de la existencia
Sin embargo, esta capacidad para «forzar» su aplicación en momentos de crisis o desacuerdo crea en la doctrina preestablecida, puede crear un desafecto ciudadano o pérdida de la percepción de legitimidad: cuando permanecen, los códigos corren el riesgo de sancionar desde las alturas y desentenderse de la realidad a pie de calle.
Este cisma conceptual entre la preferencia europea continental por la ética y la norma burocrática codificada en ideales inalienables (deontología) y el pragmatismo británico basado en las consecuencias de las acciones y no en su supuesta naturaleza (teleología) se resume en la manida cita del político e inventor estadounidense Benjamin Franklin, figura capital en el surgimiento de la institución de la biblioteca pública (a partir de suscripciones de ciudadanos) y promotor del utilitarismo, también en la educación, quien a su vez se inspiró en un viejo proverbio chino:
«Cuéntame algo y lo olvidaré, enséñame algo y lo recordaré, hazme partícipe de algo y lo aprenderé».
La sociedad contemporánea está compuesta por una burocracia cuyas instituciones usan estos dos tipos de método coercitivo: el que cuenta con un marco regulado (normas basadas en una ética «escrita») y el utilitarista, interesado en crear la impresión de que todos podemos actuar con libertad, siempre y cuando lo hagamos según los valores deseados y logremos los resultados esperados.
En su análisis sobre los métodos normativos (o coercitivos) de la sociedad contemporánea, Michel Foucault constató esta transición: la interpretación burocrática rígida (la institucionalización de personas peligrosas o consideradas anormales —su estudio del tratamiento social de la locura y el crimen, por ejemplo—, la educación infantil, etc.) da paso a un control más sutil basado en generar la ilusión de la vigilancia.
Libre albedrío, siempre que sea en los términos preestablecidos
En sociedades complejas y descentralizadas como las actuales, la maquinaria burocrática pública y privada (esta última, dominada por compañías transnacionales que ejercen de grupo de presión sobre la primera) recaba información sobre el comportamiento de la ciudadanía en determinados contextos y, a partir de estos modelos, diseña mecanismos que orienten la evolución individual y colectiva.
Operamos en un contexto en perpetua evolución donde normas escritas y convenciones (como el autocontrol o la percepción de lo que es bueno, normal, verdadero, etc.) aparecen en roles y situaciones de productos culturales, medios de comunicación y, hoy, medios de Internet. Michel Foucault llamó «gubernamentalidad» a este control social «blando», que actúa sobre nosotros como lo hace el embudo de plástico en el cuello de un perro, el collar isabelino que limita su percepción y orienta su comportamiento.
El uso ubicuo de Internet difumina la barrera histórica entre las dos visiones éticas de la burocracia, la normativa basada en el derecho romano, y la consecuencialista del modelo liberal anglosajón: por un lado, el rastro de nuestras acciones en la Red garantiza a instituciones públicas y privadas el acceso a información sobre nuestro comportamiento; y por otro, mantiene la ilusión de que nuestras acciones en la Red están movidas por el ejercicio de nuestra libertad, y la percepción de que este libre albedrío saldría reforzado.
Alimentamos esta supuesta armonización en el mundo virtual con nuestras acciones conectadas entre el mundo físico y su holograma. Y la superposición entre territorio y mapa crea la ilusión que en Internet caben tanto la norma escrita como el pragmatismo libertario.
El experimento sociológico de Honoré de Balzac
Pero esta supuesta superación de las tensiones entre deontología y teleología, entre idealismo —kantianismo— europeo continental y utilitarismo anglosajón, salta por los aires en la práctica: comprobamos que la digitalización de las viejas normas lleva toda la intención de ser usada en nuestra contra, pues con nuestras acciones —por muy «libertarias» que creamos que éstas sean— dejamos un rastro inequívoco que mejora el estudio de nuestro comportamiento.
Gracias al aprendizaje automático y el análisis de datos a gran escala, los algoritmos del futuro suponen un riesgo para nuestra propia libertad, al presentarnos como opciones de libre elección resultados que han sido diseñados en función de nuestro comportamiento.
Sólo unas décadas separan al viejo modelo coercitivo de la era de los medios de masas de modelos cada vez más viables en la actualidad, tales como el sistema de vigilancia y clasificación social por puntos, como el propuesto en China, o la acción preventiva contra crímenes todavía no cometidos (precrimen), a partir del cálculo de modelos y probabilidades. Philip K. Dick exploró en 1956 las consecuencias de esta realidad distópica, cada vez más cercana, en la novela «El Informe de la Minoría», adaptada al cine por Steven Spielberg (2002).
A inicios del siglo XIX, Honoré de Balzac emprendía una obra «más vasta que la catedral de Bourges». Se trataba de una colección de novelas que debía recrear, desde distintos puntos de vista, puntos geográficos e intereses, la rica diversidad de la sociedad parisina y «de provincias» (una aproximación bajo el epígrafe de «estudios de costumbres»). Bajos fondos y círculos de poder, intrigas amorosas y calabozos infectos, amoríos y crímenes pasionales, sacrificios paternales y relaciones platónicas no correspondidas.
Este mensaje se autodestruirá después de ser leído
Este colosal proyecto narrativo, que Balzac llamó La comedia humana, debía incluir 137 novelas interrelacionadas de manera orgánica; la muerte del autor dejó este colosal retablo de la sociedad parisina y francesa de inicios del XIX en 87 novelas completas y 7 adicionales. Para Michel Foucault, obras como La comedia humana permiten estudiar los comportamientos y valores de una sociedad en un momento concreto, y se adelantan a los modelos contemporáneos de estudio y control de la sociedad.
Balzac inventa un mundo; los gobiernos y empresas transnacionales de la actualidad recaban datos para comprender el mundo con una precisión inalcanzable para Balzac. En cierto modo, el autor de Las ilusiones perdidas creó su propia representación del concepto contemporáneo de «mirrorworld».
Pese al intento de los reguladores por impedir la acumulación de datos de usuarios que pudieran usarse en términos no aceptados por éstos, las principales empresas de Internet acumulan datos cruzados de sus usuarios y relaciones, y compran (legalmente) bases de datos donde aparecen servicios y establecimientos físicos asociados a consumidores, lo que extiende los dominios de estas compañías al mundo físico.
Esta superposición del mapa y el territorio, de la representación y el mundo real, se adentra en un terreno que difumina el derecho a la privacidad o el derecho a equivocarse: quienes han nacido en un entorno ya digitalizado tratan de contrarrestar los riesgos de mantener un perfil público en la Red con herramientas de mensajería efímera y mensajes que se autodestruyen tras ser consultados por el destinatario.
El sesgo de la maquinaria que define y hace cumplir las normas
A inicios del siglo XXI, la informática personal, la telefonía móvil y demás terminales de Internet nos hicieron creer en una falacia según la cual las herramientas informáticas son precisas, «objetivas» y capaces de mejorar nuestro sistema ético y de valores, la base de nuestra organización burocrática.
Hoy somos conscientes del riesgo del sesgo algorítmico, y el comportamiento de HAL 9000 en 2001: Una Odisea del espacio (o, más recientemente, el asistente digital personal del que se enamora el personaje encarnado por Joaquin Phoenix en Her), ya no evocan futuros imposibles o demasiado lejanos.
No hay tanta diferencia entre la ceguera burocrática y la automatización de conductas ajenas a nuestro humanismo, como trata de exponer Hannah Arendt en su Eichmann en Jerusalén: la maldad es banal y forma parte del contexto burocrático, de la inercia de una maquinaria puesta en marcha y que ya no es controlada por sus creadores, sino que sus procesos propulsan otros procesos.
Los algoritmos no son ajenos al sesgo o los prejuicios que padecemos, y heredan las limitaciones perceptivas de sus diseñadores. Un reportaje de Karen Hao para Technology Review expone cómo el sesgo algorítmico es inherente a su propio marco conceptual, desde la recopilación al procesamiento de datos.
Por ejemplo, los sistemas de reconocimiento facial son menos precisos cuando trabajan con minorías raciales, y herramientas que basan su comportamiento en la «experiencia» (la información ya procesada en las bases de datos) no tienen ningún reparo en, por ejemplo, descartar candidatos femeninos en procesos de selección profesional (como ocurrió con una herramienta de recursos humanos concebida por Amazon).
El software hereda los prejuicios de su marco conceptual
La ausencia de valores humanos y contexto social genera constantes malentendidos en el nuevo contexto de automatización de procesos burocráticos y tareas hasta ahora relegadas a personas, tales como la conducción de vehículos privados y públicos (y los dilemas morales que suscitarán las decisiones difíciles en contextos de conducción autónoma), la supervisión de infraestructuras, la vigilancia contra el fraude, etc.
Una investigación en Estados Unidos de ProPublica muestra cómo los sistemas coercitivos de autoridades estatales y municipales se ensañan de manera desproporcionada con las minorías.
Facturas médicas, multas municipales y de tráfico mantienen a muchos estadounidenses en situación de precariedad y con el riesgo de adentrarse en espirales de deuda que ocasionan bancarrotas e incluso encarcelamientos, y el uso de algoritmos parece agravar el problema.
¿Es posible diseñar sistemas capaces de resistir a la coerción y atentos a las limitaciones de los algoritmos a la hora de combatir patrones que favorecen grupos dominantes y, por tanto, conducen al sesgo?
Cómo regular la maquinaria reguladora
Aparecen marcos legales que tratan de circunscribir el uso de los datos de usuarios a situaciones legítimas, consentidas y limitadas en el tiempo, tales como la normativa europea GDPR (Control de Protección de Datos Generales). Eso sí: hasta el momento, GDPR ha causado quebraderos de cabeza a las pequeñas empresas —que deben destinar recursos para adaptarse— y reforzado la posición dominante de las compañías que ejercen monopolios de facto.
Más allá de métodos restrictivos que eviten la evolución coercitiva (sic) de las herramientas de Internet que aprenden de nuestras acciones y nos tratan de manera personalizada, aparecen los primeros esfuerzos y manifiestos para contrarrestar esta evolución adoctrinadora de los medios que consultamos a diario, los cuales anteponen los intereses comerciales de terceros a nuestros propios intereses.
My stupid gated community got my car towed in front of my apartment because I left it at the visitor spot for too long, instead of my own spot. The security have my phone number and apartment number, but instead of calling or knocking on my door, they made me pay $500 🤬🤬🤬 https://t.co/CoY7zUsk8S
— Dr Seyda Ipek (@sheydaipek) September 15, 2019
Eleanor Saitta, experta en seguridad, propone un nuevo marco que inspire diseños a prueba de métodos coercitivos que gobiernos y empresas usarían para invadir nuestra privacidad. En regímenes totalitarios, esta invasión de la privacidad puede traducirse en penas de cárcel, internamientos forzosos y desapariciones.
Instalados en un «mundo-espejo» global (que ya no puede ser aldea, como en la era de los medios de masas y la bipolaridad de civilizaciones de la Guerra Fría), ya no hay lugares donde blindarse contra la tutela intrusiva de nuestra existencia por las herramientas herederas de la burocracia ilustrada.
Sin salir de la habitación de Neo
Si somos disidentes de un Estado autoritario y acudimos a una de las embajadas de nuestro país a pedir un mero certificado civil para poder casarnos, podemos ser torturados y descuartizados sin que haya represalias contra el régimen que ordena tales atrocidades. Jamal Jashogyi supo demasiado tarde que ni siquiera su colaboración en el Washington Post garantizaba su inmunidad. La sombra de Josef K., protagonista de El proceso, la obra póstuma de Kafka, sobrevuela este trágico embrollo.
Si acudimos a una manifestación en Hong Kong, deberemos llevar máscara, gafas de sol y paraguas, aunque ni llueva ni sea un día especialmente soleado, y evitaremos volver a casa en metro usando nuestra una tarjeta de transporte nominal. Mejor volver andando.
En paralelo, los algoritmos que aceleran el Estado burocrático complican la existencia de millones de personas en regímenes democráticos más garantistas que los ejemplos extremos expuestos en los dos párrafos anteriores.
Es más sencillo que nunca incurrir en faltas administrativas que serán grabadas y que harán nuestra vida cotidiana algo más difícil, y llevarán a muchos a tratar de evadir la sensación de que, más que convivir en un espacio ciudadano donde todos tratamos de facilitar las cosas en lo posible, «malvivimos» en un clima «predatorio».
Quizá haya llegado el momento de apelar al viejo humanismo de las tecnologías más orgánicas, humanas, garantistas. De lo contrario, no tendremos más remedio que enfrentarnos a una nueva generación de representantes de una burocracia kafkiana, mientras tratamos de escapar a la vez de la teletienda perpetua en que se han convertido las pantallas que consultamos con insistencia.
¿No nos habíamos asomado a estas mismas pantallas para emanciparnos?