Description

๐—œ ๐—ฑ๐—ฎ๐˜๐—ฎ ๐—น๐—ฎ๐—ธ๐—ฒ ๐—ฒ ๐—น'๐—ฒ๐—ฐ๐—ผ๐˜€๐—ถ๐˜€๐˜๐—ฒ๐—บ๐—ฎ ๐—ฑ๐—ฒ๐—ถ ๐—ป๐˜‚๐—ผ๐˜ƒ๐—ถ ๐—ฐ๐—ผ๐—บ๐—ฝ๐—ผ๐—ป๐—ฒ๐—ป๐˜๐—ถ ๐—ฒ ๐˜๐—ฒ๐—ฐ๐—ป๐—ผ๐—น๐—ผ๐—ด๐—ถ๐—ฒ ๐—ผ๐—ฝ๐—ฒ๐—ป๐˜€๐—ผ๐˜‚๐—ฟ๐—ฐ๐—ฒ ๐—ฎ ๐˜€๐˜‚๐—ฝ๐—ฝ๐—ผ๐—ฟ๐˜๐—ผ โ€“ ๐—ฃ๐—ฎ๐—ฟ๐˜๐—ฒ ๐—œ๐—œ

La mole di dati digitali a disposizione delle aziende aumenta in maniera esponenziale, come l'importanza che essi rivestono nelle moderne logiche di business, da ciรฒ consegue la necessitร  di immagazzinarli in modo efficiente ed elaborarli con costi accessibili.

Con questo meetup proseguiamo la presentazione di strumenti/moduli frutto dei progetti piรน innovativi e promettenti al momento, e su come sfruttarli per utilizzare con semplicitร  i dati archiviati in un'architettura basata su Data Lake.

18:15 - 18:30 Benvenuto e Networking iniziale
18:30- 19:00 Project Nessie: A Git-like Experience for Cloud Data Lakes (Ryan Murray)
19:00-19:30 Soda: Monitoring and testing data quality (Albin Kjellin)
19:30 - 19:45 Q&A e Networking finale

  • Qualche dettaglio in piรน (ENTRAMBI I TALK SARANNO IN INGLESE)

๐—ฃ๐—ฟ๐—ผ๐—ท๐—ฒ๐—ฐ๐˜ ๐—ก๐—ฒ๐˜€๐˜€๐—ถ๐—ฒ: ๐—” ๐—š๐—ถ๐˜-๐—น๐—ถ๐—ธ๐—ฒ ๐—˜๐˜…๐—ฝ๐—ฒ๐—ฟ๐—ถ๐—ฒ๐—ป๐—ฐ๐—ฒ ๐—ณ๐—ผ๐—ฟ ๐—–๐—น๐—ผ๐˜‚๐—ฑ ๐——๐—ฎ๐˜๐—ฎ ๐—Ÿ๐—ฎ๐—ธ๐—ฒ๐˜€
Concetti tipici dei database come transazione commit e rollback, necessari per il workload nei tradizionali data warehouse, non sono sufficienti per le moderne piattaforme di dati e le aziende data-driven. Project Nessie รจ un nuovo meta-store open source basato su formati di tabelle come Apache Iceberg e Delta Lake per svolgere transazioni multi-table e multi-engine. Inoltre, Nessie offre per i datalake una semantica simile a Git, compresi commit, tag e branch.
Utilizzando i concetti del versioning, gli utenti possono lavorare in un modo completamente nuovo, sperimentando o preparando i dati senza andare ad impattare la visione live dei dati un mondo di possibilitร  concrete per un approccio DataOps su DataLake.
๐—ฅ๐˜†๐—ฎ๐—ป ๐— ๐˜‚๐—ฟ๐—ฟ๐—ฎ๐˜† รจ ๐—ข๐—ฝ๐—ฒ๐—ป ๐—ฆ๐—ผ๐˜‚๐—ฟ๐—ฐ๐—ฒ ๐—˜๐—ป๐—ด๐—ถ๐—ป๐—ฒ๐—ฒ๐—ฟ๐—ถ๐—ป๐—ด ๐—Ÿ๐—ฒ๐—ฎ๐—ฑ @๐——๐—ฟ๐—ฒ๐—บ๐—ถ๐—ผ. In precedenza ha lavorato nel settore dei servizi finanziari facendo di tutto, dal trader di obbligazioni al responsabile Data Engineering. Ryan ha un dottorato in fisica teorica ed รจ un attivo contributore open source che non ama che i dati non siano accessibili in un'organizzazione. La sua soddisfazione nel lavoro รจ rendere i clienti vincenti e autosufficienti, la sua ambizione personale รจ vincere un giorno la Stanley Cup.

๐—ฆ๐—ผ๐—ฑ๐—ฎ: ๐— ๐—ผ๐—ป๐—ถ๐˜๐—ผ๐—ฟ๐—ถ๐—ป๐—ด ๐—ฎ๐—ป๐—ฑ ๐˜๐—ฒ๐˜€๐˜๐—ถ๐—ป๐—ด ๐—ฑ๐—ฎ๐˜๐—ฎ ๐—พ๐˜‚๐—ฎ๐—น๐—ถ๐˜๐˜†
Facciamo una panoramica su come i Data Teams gestiscono le problematiche legate alla qualitร  dei dati che impattano grandi Dataset, data lake e Data warehouse al fine di dare affidabilitร  all'analisi ed ai prodotti delle loro attivitร ! Utilizzando la piattaforma Soda e gli strumenti open source messi a disposizione degli sviluppatori, Data Engineer, Product Owner, Consumer e Producer sono in grado di monitorare, testare e risolvere problemi sui dati prima che essi vadano ad impattare sul risultato finale delle loro attivitร .
๐—”๐—น๐—ฏ๐—ถ๐—ป ๐—ž๐—ท๐—ฒ๐—น๐—น๐—ถ๐—ป รจ ๐—ฆ๐—ผ๐—น๐˜‚๐˜๐—ถ๐—ผ๐—ป๐˜€ ๐—˜๐—ป๐—ด๐—ถ๐—ป๐—ฒ๐—ฒ๐—ฟ @๐—ฆ๐—ผ๐—ฑ๐—ฎ. Ha lavorato nell'IT di aziende di dimensione enterprise per oltre 10 anni, con particolare attenzione alle API e all'integrazione, e come solution architect and engineer presso MuleSoft e Sony Ericsson. In Soda, fa parte del team che crea per la comunity soluzioni tecniche che rispondono alle esigenze dei clienti e dei partner.

Unisciti al nostro gruppo anche su @Linkedin : bit.ly/XStreamData-Lin

#AperiTech รจ un'iniziativa di Codemotion in collaborazione con LVenture Group e LUISS EnLabs.