Spring GDS 25è Aniversari
Una empresa de logística que envia a 190 països va construir alguna cosa per enviar-se a si mateixa.
dbt (data build tool)
Què és dbt?
dbt és una eina per transformar dades dins d'un warehouse. Entren taules en brut, surten taules netes i modelades, i la lògica intermèdia s'escriu com a sentències SQL select que dbt converteix en les taules i vistes de les quals depenen els teus analistes i dashboards. S'ocupa de la T a ELT, el pas de transformació, després que les dades ja s'hagin carregat.
El que el distingeix és que aporta disciplina d'enginyeria de software a aquesta feina. Les transformacions viuen en control de versions. Els models es poden referenciar entre si, i dbt dedueix l'ordre en què executar-los. Escrius tests que afirmen coses com «aquesta columna mai és nul·la» o «aquest id és únic», i la documentació es genera a partir del mateix codi. Un equip de finances les xifres d'ingressos del qual surten d'un model dbt versionat i testejat, en lloc d'un full de càlcul que algú edita a mà, és justament del que es tracta. dbt no emmagatzema ni mou dades; orquestra transformacions a sobre de warehouses com Snowflake, BigQuery o Redshift.
El resultat és una capa de transformació que pots revisar, testejar i en la qual confiar, en lloc d'un embull de scripts SQL puntuals que ningú recorda haver escrit.
dbt a Dallonses
Quan construïm el data warehouse d'un client, dbt sol ser com mantenim assenyada la capa de transformació. Modelem les dades en SQL versionat, afegim tests perquè les dades dolentes fallin a crits en lloc d'enverinar un dashboard en silenci, i documentem els models perquè la propera persona els entengui sense una reunió. Les transformacions netes són la raó poc glamurosa per la qual es pot confiar en les xifres de baix.
Aquesta feina connecta els nostres data lakes i data warehouses amb l'anàlisi i la visualització de dades, ja que les taules que produeix dbt són exactament el que llegeixen els dashboards. Muntem el pipeline perquè corri en un horari, avisi quan un test es trenca i segueixi sent llegible a mesura que el model creix. Les marques globals ens porten reporting que ha d'estar bé, i dbt és bona part de com el mantenim així.
Cansat de dashboards muntats sobre SQL en què ningú confia? Reconstruïm la capa de sota.
Serveis relacionats
Treballs relacionats
Vizitio
Convertir una marca en un negoci que funciona.
Access Ticket
Mig milió de persones. Una app. Zero caos.
Preparat per a traballar junts?
Reserva una reunió
