Spring GDS 25 Aniversario
Una empresa de logística que envía a 190 países construyó algo para enviarse a sí misma.
dbt (data build tool)
¿Qué es dbt?
dbt es una herramienta para transformar datos dentro de un warehouse. Entran tablas en bruto, salen tablas limpias y modeladas, y la lógica intermedia se escribe como sentencias SQL select que dbt convierte en las tablas y vistas de las que dependen tus analistas y dashboards. Se ocupa de la T en ELT, el paso de transformación, después de que los datos ya se han cargado.
Lo que lo distingue es que aporta disciplina de ingeniería de software a ese trabajo. Las transformaciones viven en control de versiones. Los modelos pueden referenciarse entre sí, y dbt deduce el orden en que ejecutarlos. Escribes tests que afirman cosas como «esta columna nunca es nula» o «este id es único», y la documentación se genera a partir del propio código. Un equipo de finanzas cuyas cifras de ingresos salen de un modelo dbt versionado y testeado, en lugar de una hoja de cálculo que alguien edita a mano, es justo de lo que se trata. dbt no almacena ni mueve datos; orquesta transformaciones encima de warehouses como Snowflake, BigQuery o Redshift.
El resultado es una capa de transformación que puedes revisar, testear y en la que confiar, en lugar de una maraña de scripts SQL puntuales que nadie recuerda haber escrito.
dbt en Dallonses
Cuando construimos el data warehouse de un cliente, dbt suele ser cómo mantenemos cuerda la capa de transformación. Modelamos los datos en SQL versionado, añadimos tests para que los datos malos fallen a gritos en lugar de envenenar un dashboard en silencio, y documentamos los modelos para que la siguiente persona los entienda sin una reunión. Las transformaciones limpias son la razón poco glamurosa por la que se puede confiar en las cifras de abajo.
Este trabajo conecta nuestros data lakes y data warehouses con el análisis y la visualización de datos, ya que las tablas que produce dbt son exactamente lo que leen los dashboards. Montamos el pipeline para que corra en un horario, avise cuando un test se rompe y siga siendo legible a medida que el modelo crece. Las marcas globales nos traen reporting que tiene que estar bien, y dbt es buena parte de cómo lo mantenemos así.
¿Cansado de dashboards montados sobre SQL en el que nadie confía? Reconstruyamos la capa de debajo.
Servicios relacionados
Trabajos relacionados
Vizitio
Convertir una marca en un negocio que funciona.
Access Ticket
Medio millón de personas. Una app. Cero caos.
¿Listo para trabajar juntos?
Reservar una reunión
