Un cop deixades fora en fred, les empreses tornen a les capes semàntiques

En la dècada passada, han sorgit noves tecnologies empresarials per a una millor gestió de dades, com ara data llacs, cloud computing i malla de dades. Però, la importància d’una capa semàntica es va oblidar en algun lloc del camí. Les empreses encara veuen una bretxa entre les seves dades i els seus equips de ciència de dades, ja que els equips d’anàlisi descriptiva i la tecnologia encara romanen en dos llocs separats. L’anàlisi descriptiva és una cosa i l’anàlisi basada en ML és una altra cosa completament, però totes dues són igual de essencials per a les empreses.

Necessitat d’una capa semàntica

La capa semàntica és una de les plataformes subjacents de l’arquitectura de dades que ajuda les persones a accedir a les dades per si mateixes en un llenguatge més senzill. El valor d’això no rau únicament a garantir que el llenguatge i les perspectives siguin coherents a tot arreu. Aleshores, els clients poden determinar les seves mètriques empresarials i definir-les per ells mateixos i continuar reutilitzant-les. La capa semàntica permet que les mètriques crítiques de les organitzacions siguin les mateixes en tots els fluxos de treball i redueix la quantitat de temps que els científics de dades dediquen a coordinar-se entre els equips.

Múltiples fonts de dades i casos d’ús a les empreses, Font: getdbt.com

Quan una organització té la seva capa semàntica al seu lloc, on s’emmagatzemen les dades en brut o quines eines fan servir els diferents equips per consumir la sortida de dades, no importa. Tots els equips poden simplement alimentar-se de la capa semàntica i qualsevol informació nova que trobin els científics de dades només es pot introduir a la capa perquè les decisions futures també es basin en elles. Això allibera la ciència de dades, que normalment es pot vincular a determinades plataformes o eines i elimina els costos de reelaboració de coses. Tanmateix, és molt més fàcil mantenir una capa semàntica per a definicions en lloc de centenars d’informes dispersos.

Tot i que el concepte de capes semàntiques és tan antic com a principis dels anys 90, ara hi ha un ressorgiment d’elles a la indústria. El 1991, SAP va introduir capes semàntiques. Però no va ser fins al 2021 que la capa semàntica “moderna”, tal com la coneixem, va tornar. Eines com MetriQL, Miernva d’Airbnb, MetricFlow i Cube.js oferien capes semàntiques.

Per què es van abandonar les capes semàntiques?

Malgrat tots aquests avantatges, les empreses es van mantenir allunyades intencionadament de les capes semàntiques a causa del feixuc que eren les capes semàntiques centralitzades. Les capes semàntiques van necessitar temps per construir i mantenir. A més, la capa ha d’estar contínuament sincronitzada amb la base de dades i amb els canvis que es produeixin.

Les dades de les capes semàntiques també existien en diversos sistemes de fons o magatzems de dades operacionals (ODS), de manera que les organitzacions havien de gestionar diverses capes semàntiques simultàniament, ja que s’havia de mantenir una capa semàntica per a cada sistema o cada eina.

Però la lògica dins de les empreses s’havia dispersat arreu: les dades es van distribuir, es van duplicar i es van formar combinacions variades de dades. Sens dubte, les empreses necessitaven dades, però tampoc no se’n podia escapar. Les organitzacions tenien models personals complicats i la gestió de dades s’estava convertint en un repte important.

Eines de BI d’autoservei amb una capa semàntica i Tableau, Font: AtScale

Augment de les noves eines de BI

Amb la intenció de mantenir-se àgils, les empreses van començar a utilitzar eines noves i aparentment elegants que van sorgir en Business Intelligence (BI) com Tableau i Qlik. Aleshores, es van eliminar completament les capes semàntiques centralitzades i pesades. La idea era que aquestes eines de BI sense codi de codi baix simplificarien el procés i democratitzarien les dades. Les empreses de TI es van empènyer a poc a poc a satisfer clients més sofisticats. Però com més van sorgir aquestes ofertes, com més empreses les adaptaven, més confuses es feien les coses.

Hi havia diverses eines de BI per a diversos equips i cap capa semàntica única: algú utilitzava Tableau, algú utilitzava Power BI i algú altre utilitzava Excel i no hi havia cap punt de dades únic.

Font: getdbt.com

Una nova capa semàntica universal

Molt més tard es va adonar que, tot i que aquestes eines de descoberta de dades eren excel·lents per al que havien estat dissenyades, no eren necessàriament adequades per a la BI bàsica. El que això demana és una capa semàntica universal nova i millorada.

Empreses al núvol com Google, Floquet de neu i fins i tot els unicorns com dbt Labs ara parlen de la indispensabilitat d’una capa semàntica universal. La idea bàsica darrere de la nova capa semàntica de dbt Labs és que els usuaris haurien de definir les mètriques universals només una vegada i utilitzar-les a qualsevol lloc.

Això no vol dir que les eines de descobriment de dades es puguin descartar, ja que el descobriment és una funció legítima en BI, però les eines per al descobriment de dades i la capa semàntica no són intercanviables.

La clau a recordar de les capes semàntiques és que segueix un principi “Tot o Res”. Una capa semàntica només és útil quan és realment universal i perd completament l’objectiu quan no ho és. Això vol dir que ha de donar suport a una àmplia gamma de casos d’ús i funcions com ara científics de dades, analistes empresarials i desenvolupadors. Una capa semàntica universal també hauria de funcionar amb una varietat d’eines de consulta com SQL, MDX, DAX, Python REST, JDBC i ODBC.

Una capa semàntica ideal es defineix per característiques bàsiques com el modelatge semàntic que mapeja els elements lògics com les mètriques i els KPI amb les entitats físiques de la base de dades, un motor de càlcul multidimensional que és escalable, l’optimització del rendiment que treballa en la velocitat i el govern analític.

En cas que algun d’aquests requisits sigui incorrecte, una capa semàntica esdevé essencialment inutilitzable.

Leave a Comment

Your email address will not be published. Required fields are marked *