Abbracciare l’incertezza, le persone giuste e imparare dai dati
Questo post del blog è una versione aggiornata di parte di un discorso alla conferenza che ho tenuto al GOTO Amsterdam l'anno scorso. Il discorso è disponibile anche per guarda online.
Fornire valore e impatto positivo attraverso iniziative di prodotti di machine learning non è un lavoro facile. Uno dei motivi principali di questa complessità è il fatto che, nelle iniziative di ML sviluppate per prodotti digitali, si intersecano due fonti di incertezza. Da un lato c’è l’incertezza legata alla soluzione ML stessa (saremo in grado di prevedere ciò che dobbiamo prevedere con una qualità sufficientemente buona?). Dall’altro c’è l’incertezza relativa all’impatto che l’intero sistema sarà in grado di fornire (agli utenti piacerà questa nuova funzionalità? aiuterà davvero a risolvere il problema che stiamo cercando di risolvere?).
Tutta questa incertezza significa che il fallimento delle iniziative sui prodotti ML è qualcosa di relativamente frequente. Tuttavia, esistono strategie per gestire e migliorare le probabilità di successo (o almeno sopravvivere attraverso di essi con dignità!). Avviare le iniziative di machine learning con il piede giusto è fondamentale. Ho discusso ciò che ho imparato di più in quest'area in un post precedente: iniziare con il problema (e definire come verranno utilizzate le previsioni fin dall'inizio), iniziare in piccolo (e mantenerlo piccolo se possibile) e dare priorità ai dati giusti (qualità, volume , storia).
Tuttavia, avviare un progetto è solo l’inizio. La sfida per gestire con successo un'iniziativa ML e fornire un impatto positivo continua durante l'intero ciclo di vita del progetto. In questo post condividerò i miei tre principali insegnamenti su come sopravvivere e prosperare durante le iniziative di ML:
- Abbraccia l'incertezza: innovazione, arresto, rotazione e fallimento.
- Circondati delle persone giuste: ruoli, competenze, diversità e il network.
- Imparare dai dati: giusta direzione, essere in grado di migliorare, individuare i fallimenti e avere un piano.
È davvero difficile (anche impossibile!) pianificare in anticipo le iniziative di ML e svilupparle secondo quel piano iniziale.
Il piano di progetto più popolare per le iniziative ML è il Ciclo di vita del machine learningche suddivide le fasi di un progetto ML in comprensione del business, comprensione dei dati, preparazione dei dati, modellazione, valutazione e distribuzione. Sebbene queste fasi siano disegnate come passaggi consecutivi, in molte rappresentazioni di questo ciclo di vita troverai delle frecce che puntano all'indietro: in qualsiasi punto del progetto potresti imparare qualcosa che ti costringe a tornare a una fase precedente.
Ciò si traduce in progetti in cui è davvero difficile sapere quando finiranno. Ad esempio, durante la fase di valutazione, potresti accorgerti grazie alle tecniche di spiegabilità del modello che una specifica caratteristica non era ben codificata, e questo ti costringe a tornare alla fase di preparazione dei dati. Potrebbe anche succedere che il modello non sia in grado di prevedere con la qualità necessaria e potrebbe costringerti a tornare all'inizio nella fase di comprensione del business per ridefinire il progetto e la logica aziendale.
Qualunque sia il tuo ruolo in un'iniziativa o in un progetto di ML, è fondamentale riconoscerlo le cose non andranno secondo i pianiper abbracciare tutta questa incertezza fin dall'inizio e usarla a tuo vantaggio. Questo è importante sia per gestire gli stakeholder (aspettative, fiducia) sia per te stesso e il resto del team (motivazione, frustrazione). Come?
- Evitare vincoli di tempo o di consegna troppo ambiziosi, garantendo che le iniziative di ML siano percepite per quello che sono realmente: innovazione che deve esplorare l'ignoto e presenta un rischio elevato, ma anche una ricompensa e un potenziale elevati.
- Sapere quando fermarsi, bilanciando il valore di ciascun miglioramento incrementale (I modelli ML possono sempre essere migliorati!) con il suo prezzo in termini di tempo, impegno e costo opportunità.
- Sii pronto a cambiare direzione e a fallire, sfruttando continuamente gli apprendimenti e le intuizioni che il progetto ti garantisce e decidere di modificare l’ambito del progetto, o addirittura di ucciderlo se questo è ciò che ti dicono quei nuovi apprendimenti.
Qualsiasi progetto inizia dalle persone. La giusta combinazione di persone, competenze, prospettive e una rete che ti dà potere.
Sono finiti i tempi in cui i modelli di Machine Learning (ML) erano confinati nel laptop del Data Scientist. Oggi, il vero potenziale del machine learning si realizza quando i modelli vengono implementati e integrati nei processi aziendali. Ciò significa che è necessario che più persone e competenze collaborino per renderlo possibile (scienziati dei dati, ingegneri del machine learning, sviluppatori backend, ingegneri dei dati…).
Il primo passo è identificare il competenze e ruoli necessari per creare con successo la soluzione ML end-to-end. Tuttavia, è richiesto più di un gruppo di ruoli che copra un elenco di competenze. Avere un squadra diversificata che può portare prospettive diverse ed entrare in empatia con diversi segmenti di utenti ha dimostrato di aiutare i team a migliorare il proprio modo di lavorare e a costruire soluzioni migliori (“perché avere un team diversificato migliorerà i tuoi prodotti“).
Le persone non ne parlano abbastanza, ma le persone chiave per realizzare un progetto vanno oltre il team stesso. Mi riferisco a queste altre persone come “il network”. La rete è composta da persone che conosci sono davvero brave in cose specifiche, di cui ti fidi per chiedere aiuto e consigli quando necessario e che possono sbloccare, accelerare o potenziare te e il team. La rete può essere composta da stakeholder aziendali, manager, ingegneri del personale, ricercatori utente, data scientist di altri team, team di assistenza clienti… Assicurati di costruire la tua rete e identificare chi è l'alleato a cui puoi rivolgerti a seconda di ogni situazione o esigenza specifica .
Un progetto è un'opportunità di apprendimento continuo e molte volte gli apprendimenti e le intuizioni derivano dal controllo dei dati e dei monitoraggi corretti.
Nelle iniziative ML ci sono 3 grandi gruppi di metriche e misure che possono apportare molto valore in termini di apprendimenti e approfondimenti: monitoraggio delle prestazioni del modello, prestazioni del servizio e monitoraggio dell'impatto finale. In un post precedente ho approfondito questo argomento.
Controllare i dati e i monitoraggi corretti durante lo sviluppo o l'implementazione di soluzioni ML è fondamentale per:
- Assicurati di muoverti nella giusta direzione: questo include molte cose, dalla giusta progettazione della soluzione o la scelta delle giuste funzionalità, alla comprensione se è necessario ruotare o addirittura interrompere il progetto.
- Sapere cosa o come migliorare: per capire se gli obiettivi di risultato sono stati raggiunti (ad esempio attraverso la sperimentazione o un test a/b) e approfondire cosa è andato bene, cosa no e come continuare a fornire valore.
- Rileva i guasti in tempo e pianifica un piano: per consentire risposte rapide ai problemi, idealmente prima che abbiano un impatto sul business. Anche se hanno un impatto sul business, avere le metriche giuste dovrebbe consentirti di capire il motivo dietro il fallimento, mantenere le cose sotto controllo e preparare un piano per andare avanti (mantenendo la fiducia dei tuoi stakeholder).
Gestire in modo efficace le iniziative ML dall'inizio alla fine è un compito complesso con molteplici dimensioni. In questo post del blog ho condiviso, sulla base della mia esperienza prima come Data Scientist e poi come Product Manager ML, i fattori che considero fondamentali quando si affronta un progetto ML: accettare l'incertezza, circondarsi delle persone giuste e imparare dai dati.
Spero che questi approfondimenti ti aiutino a gestire con successo le tue iniziative di ML e ad ottenere un impatto positivo attraverso di esse. Resta sintonizzato per ulteriori post sull'intersezione tra machine learning e gestione del prodotto 🙂
Fonte: towardsdatascience.com
