Com, per què, quan: transformar les dades en mètriques fiables

Les dades són fonamentals per al viatge digital de qualsevol empresa; tots ho sabem des de fa temps. El que és més urgent és com s’organitzen els professionals de les dades per mantenir aquest viatge de dades avançant de manera eficient, especialment quan el volum d’informació no para de augmentar.

Amb aquest creixement, la missió es converteix en com transformar aquestes dades en mètriques fiables que l’empresa pugui utilitzar amb confiança per guiar les decisions.

En els esforços per aconseguir aquesta missió, els professionals de l’anàlisi com jo han estat lluitant amb un conjunt d’eines en constant expansió en els darrers anys. El nombre d’ETL (Extreure, transformar i carregar) eines i programari de modelatge al mercat ha crescut de manera colossal i està evolucionant ràpidament. Tanmateix, deixant de banda les eines, no podeu crear un equip analític d’alt rendiment sense barrejar altres ingredients clau com maneres efectives de treballar i una forta dinàmica d’equip. A continuació, destaquem algunes d’aquestes parts que formen part d’equips d’anàlisi d’alt rendiment.

Maneres de treballar: tractar els resultats d’anàlisi com l’enginyeria del programari

Com la base de codi principal de qualsevol aplicació, el codi d’anàlisi empresarial també és molt col·laboratiu. Aquí a OnBuy hem desenvolupat un pipeline d’experimentació de productes de primera part, models de valor de vida útil del client i canalitzacions d’aprenentatge automàtic per a la categorització automàtica de productes. Tots ells van comptar amb aportacions importants d’experts del domini de tota l’organització i han vist diverses iteracions. Assegurar-se que projectes com el primer estiguin versionats, documentats i ben provats millora la manera com aportem actius analítics a l’objectiu de l’empresa. Per tant, aquests actius s’han de tractar igual que els nostres homòlegs en enginyeria de programari.

Eines flexibles: aprofitant l’anàlisi sota demanda

En la revolució de la informació, ara podem acumular el poder de les solucions d’emmagatzematge de dades al núvol com Google Big Query, Amazon Redshift i Snowflake. Sovint són barats i escalables, cosa que ens permet aprofitar grans quantitats de càlcul amb petites despeses generals. Els productes de dades al núvol sota demanda s’estan convertint ràpidament en els jugadors més valuosos de la pila de dades moderna.

Amb aquest emmagatzematge altament escalable, ara és habitual obtenir dades en el seu format més cru d’aplicacions de tercers. Eines autoallotjades de codi obert com AirByte donar-nos accés immediat a un catàleg de connectors font dels tercers amb els quals treballem. Aleshores, el repte passa a “com creem models que donen sentit a totes aquestes dades en brut unint-les, desduplicant-les, filtrant-les i enriquint-les per a la modelització posterior de les nostres mètriques empresarials”?

OnBuy: creació d’un ecosistema de comerç electrònic ètic

Centrant-nos en la T a ETL

Anteriorment, el flux de treball d’anàlisi s’havia trencat una mica. Treballar de manera aïllada els analistes sovint poden crear sitges de coneixement i més sovint del que voldria repetir anàlisis que altres ja han fet. Els matisos dels conjunts de dades s’han de tornar a aprendre i, per tant, afecta l’organització a mesura que la generació d’informació es desaccelera.

DBT Labs Inc, anteriorment FishTown Analytics de Filadèlfia, s’ha proposat donar suport als nostres analistes amb aquests problemes i ho han fet. Armats amb habilitats familiars de llenguatge de consulta estructurada (SQL), els analistes ara poden contribuir a la modelització de negocis sense necessitat de coneixements de programació de baix nivell. DBT juntament amb eines d’integració contínua ens permeten automatitzar molts problemes esmentats anteriorment millorant fàcilment la compartició del treball i la qualitat de la documentació del conjunt de dades.

Com que està disponible tant com a servei de línia d’ordres de codi obert com com a versió allotjada al núvol, ara DBT l’utilitzen més de 9.000 empreses a tot el món i ha creat una comunitat Slack de més de 36.000 professionals de les dades. Aquesta alta taxa d’adopció mostra clarament el buit en el flux de treball d’anàlisi que l’equip s’ha proposat tapar.

Dinàmica d’equip: Fer créixer noves subdisciplines

DBT ha ajudat a impulsar l’auge d’una nova subdisciplina valuosa a la indústria de les dades, “l’enginyeria analítica”. Reduint la bretxa entre els enginyers de dades i els científics de dades, els enginyers analítics se centren no només a moure les dades a formats accessibles, sinó a combinar fonts en brut en productes de dades netes per als consumidors aigües avall. Aquesta subdisciplina augmenta la cooperació en equip, ja que permet als analistes treballar en els problemes bàsics sense preocupar-se d’haver de navegar per un camp minat de conjunts de dades bruts.

Ajuntant-ho tot

A OnBuy, estem en constant evolució, i el nostre viatge a la plataforma de dades és evident en això. Hem incorporat solucions d’emmagatzematge de dades al núvol i eines d’automatització incrustades com l’eina de creació de dades a la nostra arquitectura. Això ens ha permès als analistes de tot el negoci enriquir les dades de les nostres aplicacions i aportar valor ràpidament. A mesura que la plataforma madura, busquem incorporar els resultats de la nostra plataforma d’anàlisi al nostre mercat per ajudar a gestionar les nostres relacions amb milers de minoristes i maximitzar el rendiment del comerç electrònic dels nostres 35 milions de fitxes de productes en creixement.

Nou CTO per impulsar la innovació a OnBuy

.

Leave a Comment

Your email address will not be published. Required fields are marked *