Errori comuni con risposte buone e cattive
#1 Saltando direttamente nel modello
Alcuni candidati passano direttamente all'algoritmo ML che utilizzerebbero per risolvere il problema, senza prima articolare l'applicazione aziendale, l'obiettivo della soluzione e i parametri di successo.
Risposta errata: “Per il rilevamento delle frodi, utilizzerò una rete neurale profonda perché è potente.”
Esito positivo: “Questa soluzione verrà utilizzata per il rilevamento delle frodi in tempo reale su ogni passaggio di carta? Ciò significa che abbiamo bisogno di un modello veloce ed efficiente. Vorrei identificare tutti i dati che posso utilizzare per questo modello. Innanzitutto, ho i metadati della transazione come importo, posizione e ora della transazione. Ho anche i dati delle transazioni passate di questa carta: posso consultare fino a 30 giorni in anticipo per ridurre la quantità di dati che devo analizzare in tempo reale, oppure potrei precalcolare le caratteristiche categoriche/binarie derivate dalla cronologia delle transazioni come “is_transaction_30_days”, “most_frequent_transaction_location_30days” ecc. Inizialmente, utilizzerò la regressione logistica per impostare una linea di base prima di considerare modelli più complessi come le reti neurali profonde, se necessario.”
# 2 Mantenerlo a un livello troppo alto
Non vuoi solo fornire una strategia standard, ma includere anche esempi specifici in ogni passaggio che siano rilevanti per un determinato problema aziendale.
Risposta errata: “Farò un'analisi esplorativa dei dati, rimuoverò i valori anomali e creerò un modello per prevedere il coinvolgimento degli utenti.”
Esito positivo: “Analizzerò i dati storici degli utenti, comprese le visualizzazioni di pagina, le percentuali di clic e il tempo trascorso sul sito. Analizzerò le caratteristiche categoriche come categoria di prodotto, marca e le rimuoverò se manca più del 75% dei valori. Ma sarei cauto in questo passaggio poiché l'assenza di alcune funzionalità a volte può anche essere molto istruttiva. Un modello di regressione logistica può servire come punto di partenza, seguito da modelli più complessi come Random Forest, se necessario”.
# 3 Risolvere solo per il caso felice
Non è difficile riconoscere una mancanza di esperienza nel settore se il candidato parla solo dei dati e della strategia di modellazione senza discutere problemi di qualità dei dati o altre sfumature riscontrate nei dati e nelle applicazioni del mondo reale.
Risposta errata: “Addestrerò un classificatore utilizzando i clic precedenti sugli elementi dell'utente per una determinata query di ricerca per prevedere i clic sugli annunci.”
Esito positivo: “I clic precedenti sugli elementi dell'utente per la query possono intrinsecamente avere un pregiudizio di posizione poiché gli elementi mostrati nelle posizioni più alte nei risultati di ricerca hanno maggiori probabilità di essere cliccati. Correggerò questo bias di posizione utilizzando la propensione ponderata inversa stimando la probabilità di clic su ciascuna posizione (la propensione) e quindi soppesando tutte le etichette con essa.
#4 A partire dai modelli più complessi
Vuoi mostrare una propensione all'azione utilizzando modelli leggeri facili da sviluppare, meno costosi e dispendiosi in termini di tempo e introducendo la complessità secondo necessità.
Risposta errata: “Utilizzerò un'architettura di deep learning a doppio codificatore all'avanguardia per il sistema di consigli.”
Esito positivo: “Inizierò con un semplice approccio di filtraggio collaborativo per stabilire una linea di base. Una volta comprese le sue prestazioni, possiamo introdurre la complessità con la fattorizzazione a matrice o modelli di deep learning come un doppio codificatore se i risultati iniziali ne indicano la necessità”.
# 5 Non ruotare quando vengono lanciate le palle curve
L'intervistatore può interrompere la tua strategia e porre domande di approfondimento o proporre scenari alternativi per comprendere la profondità della tua comprensione delle diverse tecniche. Dovresti essere in grado di modificare la tua strategia man mano che introducono nuove sfide o variazioni.
Risposta errata: “Se non abbiamo accesso alle informazioni di identificazione personale dell'utente, non possiamo costruire un modello personalizzato.”
Esito positivo: “Per gli utenti che rinunciano (o non accettano) a condividere le proprie PII o i dati sulle interazioni passate, possiamo trattarli come utenti con avvio a freddo e mostrare loro consigli basati sulla popolarità. Possiamo anche includere un RNN di sessione online per adattare i consigli in base all’attività durante la sessione”.
Calibrazione della risposta in base al livello
All’aumentare del livello di lavoro, aumenta anche l’ampiezza e la profondità delle aspettative nella risposta. Questo è meglio spiegato attraverso una domanda di esempio. Supponiamo che ti venga chiesto di progettare un sistema di rilevamento delle frodi per una piattaforma di pagamento online.
Livello base (0-2 anni di esperienza nel settore pertinente)
Per questo livello, il candidato dovrebbe concentrarsi sui dati (caratteristiche, tecniche di preelaborazione), sul modello (modello di base semplice, modello più avanzato, funzione di perdita, metodo di ottimizzazione) e sulle metriche di valutazione (metriche offline, progettazione di esperimenti A/B). Un buon flusso sarebbe:
- Identificare le caratteristiche e la pre-elaborazione: ad esempio l'importo della transazione, il luogo, l'ora del giorno e altre caratteristiche categoriche che rappresentano la cronologia dei pagamenti.
- Modello di base e modello avanzato: ad esempio un modello di regressione logistica come base, considerare gli alberi con potenziamento del gradiente per la versione successiva.
- Metriche di valutazione: ad esempio precisione, richiamo, punteggio F1.
Esperienza di medio livello (3-6 anni di esperienza nel settore pertinente)
Per questo livello, il candidato dovrebbe concentrarsi sul problema aziendale e sulle sfumature nell'implementazione dei modelli in produzione. Un buon flusso sarebbe:
- Requisiti aziendali: ad esempio, un compromesso tra richiamo e precisione poiché vogliamo ridurre l'entità delle frodi mantenendo basso il tasso di falsi positivi per una migliore esperienza utente; evidenziare la necessità di modelli interpretabili.
- Sfumature dei dati: ad esempio, il numero di transazioni fraudolente è molto inferiore rispetto alle transazioni non fraudolente, è possibile affrontare lo squilibrio di classe utilizzando tecniche come SMOTE.
- Compromessi del modello: ad esempio un modello di base basato su euristica, seguito da una regressione logistica, seguita da modelli basati su alberi poiché sono più facili da interpretare rispetto alla regressione logistica che utilizza trasformazioni di caratteristiche non lineari difficili da interpretare.
- Analizzare le sfumature dell'implementazione: ad esempio l'elaborazione delle transazioni in tempo reale e la cadenza di aggiornamento del modello per adattarsi all'evoluzione dei modelli di frode.
Esperienza a livello senior/staff/preside (6+ anni)
Per questo livello, ci si aspetta che il candidato utilizzi la propria esperienza pluriennale per pensare in modo critico all'ecosistema più ampio, identificare le sfide principali in questo spazio ed evidenziare come diversi sottosistemi ML possono unirsi per risolvere il problema più ampio. Affronta sfide come l'elaborazione dei dati in tempo reale e la garanzia della robustezza del modello contro gli attacchi avversari. Proporre un approccio a più livelli: sistemi basati su regole per la segnalazione immediata e modelli di deep learning per il riconoscimento dei modelli. Includere cicli di feedback e schemi di monitoraggio per garantire che il modello si adatti alle nuove forme di frode. Inoltre, dimostra di essere aggiornato sulle ultime tendenze del settore, ove applicabile (ad esempio utilizzo di GPU, apprendimento di rappresentazione, apprendimento per rinforzo, edge computing, ML federato, creazione di modelli senza dati PII, equità e pregiudizi nel ML, ecc.)
Fonte: towardsdatascience.com
