Le metriche dell’AI: come si misura l’efficacia dei progetti
Le imprese hanno ormai compreso l’opportunità che si cela nell’intelligenza artificiale. Efficienza, riduzione di costi, sviluppo di nuovi modelli di business, migliore relazione col cliente ed employee engagement sono solo alcuni dei potenziali effetti benefici dell’implementazione di AI nel business, che oltretutto diventa un elemento cardine del vantaggio competitivo.
Tuttavia, il solo fatto di integrare AI e Machine Learning nei processi aziendali non è garanzia di successo: i modelli potrebbero non essere performanti come da aspettative, i dataset a disposizione non ampi a sufficienza oppure, passando a una dimensione di business, l’adozione potrebbe risultare in qualche modo lacunosa. Si pone dunque la necessità di quantificare correttamente il valore di AI nel contesto dell’attività d’impresa poiché, in caso contrario, l’incertezza andrebbe a condizionare negativamente gli investimenti e a rallentare i progetti.
Efficacia del modello e ROI del progetto
Un primo elemento essenziale, che condiziona il percorso di quantificazione del valore di AI, è la definizione chiara degli obiettivi di progetto, con tanto di scelta degli stakeholder e degli use case rilevanti. Di fatto, ciò è possibile previa formazione di team eterogenei di professionisti della data science e di esperti di dominio, team nei quali il data scientist occupa una posizione centrale. L’ampiezza degli obiettivi dipende chiaramente dal livello di maturità di AI nel contesto aziendale.
La logica suggerisce che l’efficacia di AI sia in qualche modo data dalla capacità del sistema di raggiungere o avvicinarsi agli obiettivi predefiniti. Per quanto ciò sia logicamente corretto, le imprese si possono p
orre (almeno) due domande che richiedono un livello di approfondimento maggiore. La prima è il grado di efficacia del modello ovvero, in altri termini, quanto sia davvero smart il sistema adottato; la seconda, invece, riguarda la misurazione del ROI del progetto. A seconda della prospettiva adottata, ciò conduce a diverse considerazioni e KPI, equamente distribuiti tra metriche tecniche e di business.
L’accuratezza del modello di AI
Alcuni commentatori suggeriscono che il focus, e il contestuale monitoraggio dei KPI, non debba concentrarsi sul modello in sé, quanto piuttosto sugli obiettivi finali del progetto, ovvero su metriche di people & business. Questo perché può accadere che una metrica tecnica sia particolarmente brillante, ma poi non si traduca in un impatto rilevabile a livello di business. Ciò nonostante, il modello può essere valutato in termini di accuratezza, un parametro che va logicamente contestualizzato: accuratezza nell’effettuare previsioni, nel riconoscere il sentiment di un interlocutore, nell’identificare oggetti da video e immagini…
L’accuratezza è la metrica più alta, ma funge da punto di partenza per indagini approfondite da parte dei data scientist. Inoltre, sempre nell’ambito delle performance dei modelli e delle tecniche di AI, è possibile comparare i risultati con quelli di altri modelli, ovviamente in modo tale che gli esiti siano oggettivi. A tal proposito, è possibile adottare metodologie di benchmarking come quelle di Glue, SuperGlue e VTAB. A livello di algoritmi e tecniche di AI, esistono poi svariati modelli di riferimento (Baseline) cui ispirarsi, come GPT-3 (Generative Pre-Trained Transformer 3). È fondamentale, qualora si intraprenda questo percorso, considerare che benchmark, modelli e tecniche di riferimento evolvono con rapidità ed è quindi necessaria un’attenzione e un aggiornamento costante.
Il valore di AI e l’impatto sul business
Il tema su cui le imprese si concentrano è la misurazione del ROI dei progetti di AI, ovvero dell’impatto sul business. A tal proposito, si torna al concetto di corretta pianificazione del progetto, con definizione di obiettivi chiari e misurabili. Gli indicatori di performance dipendono dal tipo di progetto, dallo use case e dal livello di maturità dell’impresa in tal senso. È infatti palese che AI possa essere adottata all’interno di qualsiasi processo aziendale e in ogni funzione, contribuendo a incrementare il grado generale di agilità, di resilienza e di apertura al futuro. Vi è quindi un ritorno immediato e quantificabile, i cui parametri di misurazione dipendono dallo use case, e uno indiretto – più complesso da quantificare – legato al concetto di modernizzazione d’impresa a 360 gradi, che comprende anche impatti organizzativi, culturali e di engagement.
Per quanto concerne il primo aspetto, i KPI sono diversi: nell’ambito del customer care, immaginiamo indicatori di customer satisfaction, di first call resolution (FCR) o di efficienza della struttura (si pensi all’adozione di un voicebot); turnover, adozione delle applicazioni e utilizzo degli spazi aziendali in ambito HR, IT e facility, ma senza sottovalutare le vendite e quindi l’impatto su indicatori di crescita. Da notare, infatti, che l’adozione di AI e Machine Learning può avere un impatto benefico anche sul modello di business: a titolo d’esempio, la manutenzione predittiva può suggerire a un produttore di macchine industriali di attivare un modello basato sulla servitizzazione. In tal caso, AI sarebbe l’abilitatore di nuove fonti di introito e quindi andrebbe a incidere sulla crescita e sul futuro dell’organizzazione.
L’intelligenza artificiale può quindi determinare risultati concreti e tangibili, ma anche altri difficilmente misurabili. È il caso delle tecniche AI sperimentali e di frontiera, che non hanno ancora un impatto diretto sui parametri di business: in tal caso, l’indicatore che va monitorato è la capacità di generare interesse nella community scientifica e di stimolare ulteriori studi di approfondimento, che potranno poi condurre (gradualmente) a un vero vantaggio competitivo.
(Emanuele Villa per Zerounoweb)