Drexel University presenta TorchFL: una biblioteca Python per a la creació de prototips i l’experimentació d’aprenentatge federat utilitzant models i conjunts de dades d’última generació

Drexel University presenta TorchFL: una biblioteca Python per a la creació de prototips i l’experimentació d’aprenentatge federat utilitzant models i conjunts de dades d’última generació

El volum de dades produïdes pels dispositius mòbils (client) ha crescut enormement en els darrers anys a causa del ràpid desenvolupament dels sensors i les capacitats computacionals. La impressionant quantitat de dades recopilades dels dispositius de maquinari és útil per resoldre problemes en dominis com l’orientació d’anuncis, la traducció d’idiomes, la generació d’imatges, els suggeriments de contingut i molts altres problemes que era difícil d’abordar sense una xarxa neuronal.

L’aprenentatge profund (DL), un mètode per aprendre activament dels patrons de navegació dels usuaris i entrenar models computacionals sobre les dades dels usuaris, ha guanyat popularitat a causa del creixent volum de dades. Les dades de l’usuari s’entreguen i es recullen amb freqüència en un servidor centralitzat, i el model entrenat es desplega al dispositiu, donat el volum de dades i els recursos de processament necessaris per entrenar aquests models. Tot i que aquest mètode ha tingut èxit, l’ús de les dades per a la formació del model DL és un repte a causa de les lleis i estàndards més alts sobre protecció de dades.

L’aprenentatge federat (FL), que només intercanvia paràmetres en lloc de dades emmagatzemades localment, s’ha convertit en un mètode potencial per a la formació de models entre diversos clients. Tanmateix, encara queda molt camí per recórrer abans que els models DL d’avantguarda es puguin entrenar en aquests dispositius o fins i tot executar un procés d’entrenament en segon pla sense afectar el rendiment, la durada de la bateria o l’activitat habitual dels usuaris. Això és cert tot i que els dispositius de punta i mòbils dels clients són cada cop més potents computacionalment.

Una investigació recent de la Universitat de Drexel presenta TorchFL com una biblioteca d’alt rendiment plug-and-play per iniciar experiments simulats de FL. Abstraint el maquinari, la infraestructura, les dades i les implementacions de DL per configurar els experiments, TorchFL pot reduir la càrrega d’implementació de la comunitat FL. Els marcs Python, PyTorch i Lightning són els principals blocs de construcció de TorchFL, que també és compatible amb els registres, perfils i acceleradors de PyTorch Lightning. Els desenvolupadors poden utilitzar-lo per dur a terme un experiment complet mitjançant els atributs següents:

  1. Embolcalls de models DL moderns que es poden entrenar en entorns federats o no federats
  2. La capacitat de construir automàticament els fragments de dades basant-se en la configuració i els embolcalls de FL per als conjunts de dades moderns més utilitzats
  3. S’ha afegit suport per a l’extracció o l’ajustament de funcions dels models DL pre-entrenats, que permet l’aprenentatge de transferència federada per a un entrenament més ràpid.
  4. Capa FL adaptable amb clients FL preparats per a l’ús, mostradors i agregadors que es poden utilitzar per llançar experiments ràpidament mitjançant fitxers de configuració.
  5. Compatibilitat amb les versions anteriors de PyTorch Lightning registradors, perfiladors, acceleradors de maquinari i les eines DevOps més recents per reduir la sobrecàrrega d’implementació i rendiment per registrar i compilar resultats experimentals

Com que TorchFL està dissenyat de baix a dalt, els programadors poden modificar cada capa i afegir-la a la biblioteca per provar les seves teories i investigacions.

Font: https://arxiv.org/pdf/2211.00735v1.pdf

TorchFL actualment gestiona grans conjunts de dades centrats a resoldre problemes de reconeixement d’imatges, classificació o visió general per ordinador. Tanmateix, el disseny i les interfícies són compatibles amb una varietat més àmplia de tasques de DL, com ara l’aprenentatge de reforç i el processament del llenguatge natural. Per tant, l’equip té previst afegir diversos conjunts de dades i implementacions de models per fer-los compatibles amb altres tasques.

També tenen la intenció d’afegir aquests mòduls als mostradors i agregadors perquè la comunitat FL desenvolupa contínuament nous mètodes de mostreig, incentivació d’agents, mecanismes de defensa, xifratge de gradient/paràmetres i molt més. A més, esperen ampliar la selecció de mostrejos i agregadors disponibles perquè els usuaris que vulguin adaptar TorchFL als seus estudis els puguin utilitzar com a exemples.


Fes una ullada al Paper i GitHub. Tot el crèdit d’aquesta investigació es destina als investigadors d’aquest projecte. A més, no oblidis unir-te la nostra pàgina de Reddit i canal de discòrdiaon compartim les últimes notícies de recerca d’IA, projectes interessants d’IA i molt més.


Tanushree Shenwai és una consultora en pràctiques a MarktechPost. Actualment està cursant el seu B.Tech a l’Institut Indi de Tecnologia (IIT), Bhubaneswar. És una entusiasta de la ciència de dades i té un gran interès en l’àmbit d’aplicació de la intel·ligència artificial en diversos camps. Li apassiona explorar els nous avenços en tecnologies i la seva aplicació a la vida real.



Leave a Comment

Your email address will not be published. Required fields are marked *