"El reto del billón de filas": Hacks para procesar más de 12GB en 2 segundos |
60,039 views
1.6K

 Published On Streamed live on Jan 23, 2024

Recientemente se ha propuesto un reto a la comunidad: Procesar lo más rápido que puedas 1.000 millones de registros ("1 billion" en inglés). El reto se conoce como "One Billion Row Challenge (1BRC)", y consiste en cargar el dataset de mediciones de temperatura para determinar la medición mínima, media, y máxima de cada ciudad.

Cada línea consiste en una tupla de ciudad y temperatura separada por ";" como por ejemplo: "Hamburg;12.0". A tener en cuenta:
- Hay 413 ciudades
- La longitud de los nombres de ciudad varían entre 3 y 26 bytes
- Las temperaturas pueden ser negativas, 1 o 2 enteros, y siempre con 1 decimal

El reto se propuso inicialmente en la comunidad Java, pero han salido implementaciones en otros lenguajes de programación como Rust o C#.

En el directo analizaremos algunas de estas soluciones junto con Antón Rodriguez, Principal Software Engineer en New Relic, con más de 10 años de experiencia en el ecosistema Java. Ya estuvo en el canal mostrando las novedades de Java.

﹤🍍﹥ Enlaces
├ 🎥 Suscríbete: https://youtube.com/c/CodelyTV?sub_co...
├ 🔖 Cursos: https://bit.ly/cursos-codely
├ 🔗 Material relacionado:
| ├    • Novedades Java  
| ├ Optimizaciones JVM: https://docs.google.com/forms/d/e/1FA...
| ├ Post original (Java): https://www.morling.dev/blog/one-bill...
| ├ Repo principal: https://github.com/gunnarmorling/1brc
| ├ Post .Net (C#): https://hotforknowledge.com/2024/01/1...
| ├ Post Rust: https://curiouscoding.nl/posts/1brc/
| └ Otros lenguajes: https://github.com/gunnarmorling/1brc...
└ 👋 Redes sociales:
├   / codelytv  
├   / antonmry  
├   / javiercane  
├   / codelytv  
└   / codelytv  

show more

Share/Embed