Descubra la infraestructura de almacenamiento de Internet Archive

Internet Archive (IA) es una institución sin fines de lucro con sede en San Francisco, California, que ofrece una colección de canciones videos; Película (s; libros; estudios; código para sitios web, software y juegos en el dominio público, o sea, que no son propiedad de un individuo u organización. Además, también ofrece Servicios de archivo histórico de sitios web, con herramientas Archive-It y Wayback Machine..

La historia de la IA comenzó en 1996, cuando la Internet comercial aún no estaba muy extendida. La organización ofrece actualmente 475 mil millones sitios archivados; 28 millones textos, libros y estudios; 14 millones de audios (siendo 220 mil espectáculos en directo), 6 millones de videos (siendo 2 millones programas de televisión), 3.5 millones imagenes y 580 mil software. “Tenemos más de 20 años de historia de la web accesible a través de Wayback Machine y trabajamos con más de 625 bibliotecas y otros socios a través de nuestro programa Archive-It”, escribe la IA en la página “Acerca de” del sitio web.

Según Jonah Edwards, gerente de operaciones e infraestructura de Internet Archive, para manejar esta enorme cantidad de material, garantizar la calidad del servicio y la privacidad de sus usuarios, la organización no utiliza soluciones de almacenamiento en la nube. Todos los archivos cargados en Internet Archive se almacenan en más de 20 mil discos duros., repartidos entre los 750 servidores que están instalados alrededor de la sede en California. Un total de 200 petabytes de capacidad de almacenamiento, o mejor, 200 millones de gigabytes.

El poder de almacenamiento de Internet Archive crece un 25% anual. Esto significa que constantemente se compran nuevos discos duros para satisfacer la creciente necesidad de almacenamiento. Según Jonás, la cantidad de visitas y la cantidad de material descargado del sitio crecieron de manera alarmante durante la pandemia del nuevo coronavirus (COVID-19), que hizo que la IA invirtiera aún más en infraestructura.

Jonás explica que la organización utiliza servidores locales, en lugar de soluciones de almacenamiento en la nube principalmente por el problema de los costos. Una infraestructura como esta proveniente de Amazon Web Services (AWS), por ejemplo, costaría mucho más de lo que ya se gasta en la estructura física.

Además, una estructura física también puede garantizar algunos principios básicos de IA, como transparencia, simplicidad, durabilidad, rendimiento y longevidad. Cuando hay un problema con un disco, el equipo responsable puede rastrearlo y solucionarlo de manera mucho más eficiente que los clientes de servicios en la nube. Otra ventaja de usar servidores locales, es que la IA puede garantizar la privacidad de sus usuarios., ya que los servicios en la nube pueden rastrear y recopilar datos de uso de sus usuarios.

Financiación

Jonah explica que Internet Archive es una institución caracterizada como un archivo y una biblioteca, por esa razón, pueden acceder a los beneficios de financiamiento del gobierno, principalmente los beneficios de la Comisión Federal de Comunicaciones de Estados Unidos (FCC). IA también acepta donaciones de empresas, usuarios y otras instituciones. En la página “Acerca de” del sitio web de IA, puede encontrar una lista de todas las fuentes de ingresos de la organización.

Fuente: Archivo de Internet (1) (dos).