Procesamiento Automatizado: Cuando la Máquina Decide por Vos
El Espejismo de la Imparcialidad Algorítmica
Hay una idea, casi poética, de que una máquina no puede ser injusta. Un juez de silicio, incorruptible, que aplica la ley sin pasiones ni prejuicios. Es una fantasía reconfortante, y como toda buena fantasía, ignora por completo la realidad. Un sistema de procesamiento automatizado no es más que una receta de cocina glorificada, una serie de instrucciones lógicas escritas por personas de carne y hueso. La instrucción ‘si el solicitante tiene menos de X ingresos, denegar el crédito’ no es una verdad universal, es una regla de negocio. Una regla concebida por un humano.
El problema se magnifica con el auge del aprendizaje automático o ‘machine learning’. Aquí, en lugar de escribir reglas explícitas, alimentamos al sistema con una pila de datos históricos y le pedimos que ‘aprenda’ los patrones. Suena avanzado, y lo es. Pero si los datos históricos reflejan sesgos sociales pasados (por ejemplo, si un determinado grupo ha tenido históricamente menos acceso al crédito), el algoritmo no aprenderá a ser justo; aprenderá a ser un discriminador increíblemente eficiente. Replicará y amplificará los prejuicios del pasado con la velocidad de la luz, dándoles un sello de validación matemática. Es el concepto de ‘basura entra, basura sale’, pero elevado a una potencia industrial.
A esto se suma el fenómeno de la ‘caja negra’. En muchos sistemas complejos, ni siquiera sus creadores pueden explicar con total certeza por qué se llegó a un resultado específico en un caso particular. Las interacciones entre miles de variables son tan intrincadas que el proceso se vuelve opaco. Confiar una decisión crítica a un sistema cuyos mecanismos internos son un misterio es, en el mejor de los casos, un acto de fe. En términos legales, se parece bastante a la negligencia. La defensa de ‘no sé cómo funciona mi propio auto’ rara vez exime de responsabilidad al conductor que causa un accidente.
La imparcialidad, por tanto, no es una propiedad inherente de la tecnología. Es un objetivo que debe ser diseñado, auditado y vigilado activamente. Asumir que un sistema es objetivo por el simple hecho de ser automático es el primer y más grave error que se puede cometer.
La Responsabilidad: Un Juego de la Papa Caliente
Cuando un algoritmo toma una decisión errónea que perjudica a alguien, se desata un ballet de evasión de responsabilidades. La empresa que usa el sistema culpa al proveedor del software. El proveedor alega que su software es una herramienta y que el uso es responsabilidad del cliente. El programador, si alguien llega hasta él, dirá que solo siguió especificaciones. En medio, la persona afectada queda atrapada en un laberinto burocrático, recibiendo como única respuesta un encogimiento de hombros digital: ‘el sistema así lo determinó’.
Sin embargo, el derecho de protección de datos, en sus diversas formas alrededor del mundo, es bastante claro. Existe una figura central: el Responsable del Tratamiento. Esta es la entidad (generalmente, la empresa) que decide los fines y los medios del procesamiento de los datos. Es quien se beneficia del sistema y quien lo pone en funcionamiento. Y es, por lo tanto, el principal responsable legal de su funcionamiento y de sus consecuencias. No puede, simplemente, lavarse las manos.
La ley establece que si se toman decisiones basadas únicamente en el procesamiento automatizado que producen efectos jurídicos en las personas o les afectan significativamente, estas tienen derechos. Derechos como ser informado, solicitar intervención humana y expresar su punto de vista. La existencia de estos derechos implica una obligación correlativa para el Responsable. La obligación de tener a esa persona disponible, de poder explicar la lógica aplicada y de estar preparado para revisar y revertir la decisión de la máquina.
Consejos no Solicitados para Navegar el Naufragio
En este escenario, tanto el que acusa como el que es acusado deben entender que la discusión no es sobre la perfección del código, sino sobre la diligencia debida y la asignación de riesgos.
Para usted, que fue víctima del algoritmo:
Su primer objetivo no es demostrar que el algoritmo es malo. Es demostrar que una decisión automatizada le causó un daño. Exija una explicación clara y en lenguaje simple. No necesita entender de Python; necesita entender los criterios que se usaron en su contra. ¿Fue su edad, su código postal, su historial de compras? Tiene derecho a saberlo. Solicite inmediatamente una revisión por parte de una persona. No un chatbot, no otro formulario. Un ser humano que pueda analizar el contexto que la máquina ignoró. Y, sobre todo, documente absolutamente todo. Cada correo, cada intento de llamada, cada respuesta automática. La evidencia de su intento de resolver el problema y la falta de una respuesta adecuada es fundamental. El tiempo y el silencio de la empresa juegan a su favor.
Para usted, empresa que implementó el sistema:
Su defensa no es la complejidad técnica, es la prudencia. La mejor estrategia es la prevención. Antes de lanzar el sistema, debe haber realizado una evaluación de impacto, identificando los riesgos para los derechos de las personas. Debe tener políticas de transparencia que no parezcan escritas por un robot para otros robots. Realice auditorías periódicas de sesgo en sus algoritmos; es más barato que una demanda. Lo más importante: asegúrese de que el ‘botón de anulación humana’ no sea un mito. Debe existir un proceso claro, eficiente y real para que una persona pueda revisar y corregir al sistema. Creer que puede esconderse detrás de la complejidad de su tecnología es una apuesta que, a largo plazo, siempre se pierde. El juez no será un ingeniero de software, pero entiende perfectamente el concepto de responsabilidad.
Verdades Incómodas en un Mundo de Silicio
Llegamos así a algunas revelaciones que deberían ser obvias. La primera es que la tecnología no es el fin, es el medio. La automatización sin límites no es un mandato del progreso, es una decisión de negocio. Una decisión que prioriza la eficiencia y la reducción de costos por sobre la equidad, la empatía y el análisis del caso individual. Es una elección, y toda elección conlleva responsabilidad.
La segunda verdad incómoda es que el aura de objetividad que rodea a estas tecnologías es su característica más peligrosa. Nos hace bajar la guardia. Estamos culturalmente entrenados para cuestionar la decisión de un gerente, pero aceptamos la de un sistema informático como si fuera una ley de la física. Esta aceptación acrítica es el terreno fértil donde crecen los abusos y los errores a gran escala.
La ley, como es su costumbre, avanza a paso de tortuga mientras la tecnología corre en un auto de Fórmula 1. Pero esto no significa que exista un vacío legal. Los principios fundamentales del derecho siguen plenamente vigentes. Conceptos como la debida diligencia, la no discriminación, la obligación de reparar un daño causado y la buena fe no desaparecen porque el proceso decisorio involucre un microchip. Los tribunales adaptan estos principios clásicos a las nuevas realidades. No se necesita una ‘Ley de Robots’ para determinar que una empresa actuó de forma negligente.
Al final del día, la reflexión más profunda es también la más simple. La responsabilidad última no reside en el algoritmo, ni siquiera en el programador que tomó demasiado café y escribió un ‘bug’. Reside en la cúpula directiva que tomó la decisión estratégica de implementar un sistema capaz de afectar la vida de miles de personas, quizás sin invertir lo suficiente en garantías y salvaguardas. Culpar a la máquina es una excusa infantil, una versión tecnológicamente sofisticada del ‘yo no fui’. Y esa defensa, como bien sabemos, rara vez convence a nadie que importe.
