Al infinito... y borrar

En 1998, ocurrió un desastre en Pixar. Un solo comando mal escrito — rm -rf / — comenzó a borrar Toy Story 2 de la existencia. Personaje por personaje, escena por escena, la película que había tomado un año en construir desapareció en segundos. El equipo observó incrédulo cómo el sombrero de Woody, las alas de Buzz y conjuntos enteros desaparecían ante sus ojos. Cuando los ingenieros se apresuraron a restaurar desde los backups, descubrieron algo peor — el sistema de respaldo había fallado silenciosamente semanas antes. Como profesionales de TI, todos hemos pasado por esto antes, pero ¿qué podemos aprender de esto y conseguir que Buzz llegue a su nave a tiempo?

La Fiesta de Andy

Esta "memoria central" tuvo lugar en 1998, con el cofundador de Pixar Ed Catmull recordándola en su libro llamado "Creativity, Inc.". La historia comienza con un desafortunado empleado anónimo de Pixar que estaba realizando una limpieza rutinaria de archivos en servidores internos cuando accidentalmente ingresó un comando de eliminación en la carpeta raíz de Toy Story 2... Esas son algunas buenas noticias. Este "evento de actualización de currículum" resultó en la desaparición de modelos de personajes y activos, y los servidores de archivos fueron rápidamente apagados.

\ Desafortunadamente, para ese momento, alrededor del 90% del trabajo realizado en Toy Story 2 había desaparecido, y el sistema de respaldo de la secuela tampoco había estado funcionando correctamente durante aproximadamente un mes. En este punto, Toy Story 2 tendría que comenzar desde cero - o la producción sería descartada por completo.

Una Madre Salva el Día

Una madre salva el día, al igual que cuando Buzz y Woody se unen para volver a casa. Galyn Susman, la supervisora de dirección técnica de la película, quien se vería afectada por los despidos de Disney en 2023, tenía una copia del proyecto de Toy Story en casa. Galyn estaba de baja por maternidad y decidió seguir trabajando desde casa – algo que se ve como normal hoy en día - pero en ese momento, era tabú. Ser madre y siempre planificar con anticipación, al igual que tener hijos, la llevó a tomar la decisión de llevar su trabajo a casa una vez por semana. Esto fue un gran beneficio porque le permitió mantenerse actualizada y mantener un backup confiable de Toy Story 2.

\ Como si fuera un recién nacido, Pixar transportó cuidadosamente la laptop de vuelta a la oficina, acunada y envuelta en mantas durante el viaje en auto - me imagino que incluso reprodujeron música de cuna para la laptop... o tal vez eso es algo que yo haría. Tener el backup de la laptop de Susman permitió al equipo copiar los archivos y recuperar casi todo lo que se había perdido.

\ Fue una ocasión alegre con muchos choques de manos, y quizás puso una sonrisa en la cara de la persona responsable de la eliminación. La copia de respaldo de Susman no tenía toda la película en su computadora, pero pudieron recuperar lo suficiente para completar y entregar Toy Story 2 a tiempo. Ponga la música inspiradora y baile como si nadie estuviera mirando. Qué historia, ¿verdad?

\ ¿Qué hay del empleado que eliminó los archivos? Me alegra que estés prestando atención. Hasta ahora, no hay informes de que haya sido despedido o enfrentado consecuencias. Diré que es fácil imaginar la tensión en ese momento, y tal vez un proyecto futuro con ellos trabajando en el proceso de backup.

Lecciones Aprendidas

La experiencia sirve como una valiosa lección, no solo para la gente de Pixar sino para profesionales de TI en todo el mundo. Existe un fuerte compromiso de crear múltiples backups e implementar medidas de seguridad adicionales para evitar que tales incidentes vuelvan a ocurrir.

\ En esta historia, el sistema de backup había fallado meses antes, y nadie lo notó. Eso significaba que no había backups desde los cuales restaurar, y el negocio estaba en punto muerto. ¿Suena familiar a los eventos actuales? Debería, porque sucede mucho en estos días. ¿Qué pueden hacer las empresas para mantenerse a salvo de este desastre?

Backups

• La regla 3-2-1 - la regla de backup de datos es una estrategia que recomienda mantener tres copias de tus datos, en dos tipos diferentes de medios de almacenamiento, con una copia almacenada fuera del sitio. Este método asegura redundancia y protege los datos de un único punto de fallo, como falla de hardware, robo o un desastre local.

  \

• Backups externos - Un backup de datos externo y aislado almacena una copia de tus datos en una ubicación física o en la nube separada (externa) y la mantiene desconectada de tu red principal (aislada). Esta combinación protege tus datos de desastres localizados y amenazas cibernéticas como ransomware, que no pueden acceder remotamente o corromper la copia de backup aislada.

  \

• RPO y RTO - Objetivo de Punto de Recuperación y Objetivo de Tiempo de Recuperación. No es solo importante, sino vital para la continuidad de tu negocio y supervivencia en caso de un desastre. La mayoría de las empresas afirman que tienen backups probados y que pasan las auditorías, pero cuando tienen que restaurar sus sistemas cuando ocurre un desastre, toma mucho más tiempo del que habían planeado, y el negocio pierde dinero por ello.

Controles Técnicos y Permisos: Privilegios Restringidos de Eliminación de Carpetas.

• La prevención más simple habría sido establecer permisos en el servidor para que no todos los empleados pudieran eliminar el directorio de nivel superior de la película. Otorgar acceso de "control total" a un gran grupo de usuarios es común en entornos colaborativos, pero es un riesgo de seguridad importante. Solo un pequeño número de administradores debería tener el permiso para ejecutar comandos de "eliminación" en carpetas críticas de alto nivel.

\

• Restricciones a nivel de comando. El empleado utilizó el comando rm -r de Linux, que elimina un directorio y todo su contenido de forma recursiva. Un sistema más avanzado podría haber evitado que este comando se ejecutara en el nivel de directorio más alto del proyecto, ya sea con un script especial o requiriendo un segundo paso de autenticación.

  \

\