4 motivi che possono portare i progetti di intelligenza artificiale generativa al fallimento

Nel mese di giugno, la catena di supermercati neozelandese Pak’nSave ha lanciato il Savey Meal-Bot, uno strumento di intelligenza artificiale che consente agli utenti di caricare un elenco di ingredienti che aveva a disposizione in casa, e demandare al bot la creazione di ricette da provare. È stato presentato come un modo per far risparmiare, dato che i neozelandesi buttano via circa 1.500 dollari neozelandesi di cibo ogni anno.

Nonostante l’avviso che gli utenti dovevano avere più di 18 anni, che le ricette non sarebbero state revisionate da esseri umani, e che nel bot potessero essere inseriti solo alimenti commestibili, ad agosto, l’azienda è diventata virale a livello globale per tutta una serie sbagli clamorosi. Per esempio, Meal-Bot ha suggerito a un utente di preparare “riso a sorpresa infuso di candeggina” come “sorprendente avventura culinaria”. E, come se non fosse già abbastanza, si è aggiunto un “mix di acqua aromatica” alla base di una ricetta con il cloro gassoso, descritto come “la perfetta bevanda analcolica per placare la sete e rinfrescare i sensi”. Un “misterioso stufato, poi, comprendeva 500 grammi di carne umana tritata che Meal-bot ha descritto come “un piatto deliziosamente sostanzioso che vi sorprenderà con i suoi magici sapori”.

Fortunatamente, non sono emerse segnalazioni di clienti avvelenati dalla preparazione e dal consumo di queste ricette, e lo strumento è stato aggiornato in modo che gli utenti potessero scegliere solo tra una serie limitata di ingredienti completamente commestibili. Ma il bot continua a creare combinazioni poco appetitose.

Un altro disastro di alto profilo a livello di pubbliche relazioni è stato quello dello studio legale Levidow, Levidow & Oberman, P.C., quando due dei suoi avvocati hanno presentato pareri legali pieni di citazioni false dopo aver usato ChatGPT per scrivere le argomentazioni.

Lo studio e i suoi avvocati “hanno negato le loro responsabilità presentando pareri giudiziari inesistenti, e continuando a sostenere le argomentazioni false anche dopo che le ordinanze giudiziarie ne hanno messo in dubbio l’esistenza”, ha dichiarato un giudice in una sentenza di giugno, che ha anche imposto una multa di 5.000 dollari.

Negli ultimi tempi, PricewaterhouseCoopers ha collaborato con molte aziende per aiutarle a far decollare i progetti di intelligenza artificiale. Ma, nonostante il clamore suscitato da questa tecnologia, o anche a causa di esso, le cose continuano a non filare per il verso giusto.

“L’intelligenza artificiale generativa ha un impatto maggiore rispetto all’IA tradizionale o all’apprendimento automatico, quindi le opportunità di disastri sono aumentate”, afferma Bret Greenstein, partner e leader della strategia go-to-market di IA generativa presso PricewaterhouseCoopers.

L’assenza di una governance

Un problema che può verificarsi con l’intelligenza artificiale generativa è quando i progetti vengono lanciati con una governance o una supervisione insufficiente. Se il Savey Meal-Bot di Pak’nSave ne è stato un esempio di pubblico dominio, molte altre aziende stanno commettendo errori simili a livello interno.

Per esempio, Greenstein dice di aver lavorato con un istituto finanziario di medie dimensioni che ha implementato l’IA generativa cinque mesi fa, utilizzando un’istanza cloud privata di uno strumento di IA commerciale.

“Poi hanno aperto l’API per consentire agli utenti aziendali di creare le proprie applicazioni”, spiega. Una delle prime cose che hanno costruito è stato un chatbot per le risorse umane, che forniva recommendation sui benefit che li esponevano inutilmente a enormi responsabilità. Per esempio, se lo strumento HR consigliava l’opzione sbagliata, un dipendente poteva perdere la finestra di benefit per un anno intero. Le persone si arrabbiavano, ma pensavano che, essendo autorevole, il sistema fosse effettivamente accurato.

Greenstein sconsiglia alle aziende di aprire le API e lasciare che i dipendenti costruiscano quello che vogliono. È necessario un approccio ponderato e disciplinato con una certa governance. “Esistono modi adeguati per costruire un’intelligenza artificiale generativa che valuti l’accuratezza e gestisca i bias e le hallucunation; inoltre, è necessario che ci sia un umano deputato a verificare che tutto funzioni nel modo giusto “, aggiunge.

L’azienda ha avuto il chatbot in funzione per un mese e il feedback non è stato positivo. Per fortuna, il problema è stato individuato abbastanza presto da non essere seriamente problematico per i dipendenti, ma ha fatto vacillare la fiducia nella leadership. D’altro canto, quando un’azienda corregge e ridimensiona l’intelligenza artificiale in modo eccessivo, può perdere finestre di opportunità in cui i concorrenti possono insinuarsi e avere un vantaggio competitivo.

Non a caso, secondo un sondaggio dell’AIIA (AIructure Alliance) pubblicato a luglio e realizzato su oltre 1.000 dirigenti di grandi aziende, il 54% ha dichiarato di aver subito perdite a causa della mancata gestione delle applicazioni di intelligenza artificiale o di ML, e il 63% che le perdite sono state pari o superiori a 50 milioni di dollari.

Costi in aumento

I chatbot di IA più popolari sono gratuitamente disponibili al pubblico. Con un po’ di sperimentazione, può risultare economico e relativamente semplice trovare applicazioni in grado di fornire vantaggi, ma creando una falsa percezione del valore. Inoltre, quando le aziende avviano progetti pilota in ambienti strettamente controllati, è facile sottovalutare i costi che si presenteranno quando il progetto sarà diffuso.

Lo stesso vale nei casi in cui un’impresa si avvale di un fornitore esterno per il progetto, dichiara Rob Lee, direttore dei curricula e capo facoltà del SANS Institute, perché nessuno ha ancora esperienza nell’implementazione dell’intelligenza artificiale su larga scala.

“Non hanno ancora il callo”, dice. “Se l’avete già fatto in passato e siete in grado di prevedere con precisione i costi, siete molto richiesti in questo momento”.

Per esempio, se l’IA viene distribuita tramite il cloud, ogni chiamata API si somma, e l’utilizzo sarà difficile da prevedere. “Non si può stimare il comportamento umano basandosi su quello che era il vecchio sistema”, afferma. “Nessuno conosce il comportamento umano che l’intelligenza artificiale genererà”.

Ci sono poi i costi di transizione. Quando, per esempio, dovete acquistare una nuova casa e vendere quella attuale, se quest’ultima non viene venduta con la rapidità prevista, potreste trovarvi a dover pagare due case contemporaneamente. Lo stesso vale per l’IT. “Saremo in grado di permettercelo se la transizione richiederà più tempo del previsto?”. Per quanto riguarda l’intelligenza artificiale, dal momento che la tecnologia è così nuova, nessuno può prevederlo con precisione.

“Poi si arriva alle dimensioni del set di dati”, aggiunge. “Devo pagare per lo storage e per le chiamate nella sua direzione e, quindi, per alcune applicazioni, è necessario disporre di uno spazio multi-distribuito in tutto il mondo, oltre che di backup”.

Secondo l’indagine dell’AIIA, il costo è il secondo maggiore ostacolo all’adozione dell’IA nelle grandi imprese.

Aspettative irrealistiche

A causa di tutto il clamore suscitato dall’intelligenza artificiale, alcuni dirigenti aziendali possono iniziare a vederla come un qualcosa di magico, e tutto il gran parlare che si fa sul suo avvento di certo non aiuta, osserva Amol Ajgaonkar, CTO dell’innovazione di prodotto di Insight, integratore di soluzioni con sede in Arizona. “Alcune di queste idee si stanno infiltrando nel processo decisionale”, precisa.

Per esempio, durante l’estate, un produttore e distributore globale di elettronica con sede negli Stati Uniti occidentali ha voluto creare un sistema per la generazione di contenuti, in particolare, per creare documenti con i prezzi per i clienti. “Hanno più di 8.000 responsabili delle vendite che gestiscono decine di migliaia di account”, spiega. “La determinazione dei prezzi dei prodotti e dei servizi è un’esigenza costante per creare impegni commerciali sui nuovi progetti. La generazione di contenuti di questo tipo è, di per sé, un caso d’uso semplice per l’IA generativa”.

Ma l’azienda pensava che l’intelligenza artificiale potesse esaminare i dati storici, trovare esempi rilevanti dal passato e poi applicarli alle nuove richieste dei clienti.

“L’aspettativa era che l’IA generativa avrebbe capito tutto”, spiega Ajgaonkar. “Gli fornisco i prezzi storici, li analizza e mi dice quali saranno i prezzi dei prodotti simili”.

Tuttavia, cercare di spiegare all’azienda come funziona effettivamente l’IA generativa è stata una lotta continua.

“Hanno respinto tutte le nostre proposte “, dice. “Perché avevano l’idea di ottenere un grande valore commerciale con uno sforzo molto basso. Ma non è così che funziona”.

Questo tipo di percezione espone l’azienda a delusioni e al fallimento del progetto, e forse anche alla disillusione sui vantaggi dell’IA in generale.

La soluzione, secondo Ajgaonkar, consiste nel suddividere il progetto in piccole fasi e analizzare il modo migliore per realizzarle. Spesso l’IA generativa non è adatta. Per esempio, la ricerca di documenti storici per trovare casi rilevanti può essere effettuata in modo più efficiente con approcci tradizionali, anche se la sintesi dei materiali è un’attività che questa tipologia di intelligenza artificiale è in grado di svolgere.

Nel frattempo, per prevedere il futuro è necessario applicare modelli analitici e di ML avanzati, mentre, per capire come assemblare tutte le parti in un’unica proposta, è meglio utilizzare una logica aziendale in grado di specificare quali servizi devono essere inclusi. Ci sono anche i calcoli matematici. Non solo è eccessivo, ma anche incredibilmente impreciso cercare di usare l’intelligenza artificiale per farne di semplici.

“Possiamo scrivere un plugin”, dice Ajgaonkar. “Non dobbiamo per forza affidarci all’IA generativa”.

Poi è il momento di assemblare il documento finale. Alcune sezioni provengono dal team legale e non cambiano mai. “È il materiale di base”, dice. “E per quanto riguarda il riepilogo esecutivo, quello sì, lo può inserire l’IA generativa”.

Alla fine, l’azienda elettronica è riuscita a ottenere una soluzione che ha ridotto significativamente il tempo necessario per scrivere la sua documentazione. Ma ci è voluta un po’ di formazione per arrivare a questo punto. Senza di essa, il progetto sarebbe stato una grande delusione.

Un’altra cosa che le aziende spesso non capiscono è che scrivere una richiesta di AI generativa non è come dare istruzioni a un altro umano adulto, aggiunge.

“È come dare istruzioni ai miei figli adolescenti”, dice Ajgaonkar. “Talvolta bisogna ripetersi per far sì che il messaggio rimanga impresso. In qualche caso, l’intelligenza artificiale ascolta, in altri non segue le istruzioni. È quasi una lingua diversa. Quando qualcosa sta arrivando sul piano operativo, la comprensione dei dettagli e delle sfumature può rappresentare una parte enorme del successo del progetto”.

Esistono anche modi per migliorare la qualità delle risposte, come il ragionamento del pensiero ad albero, nonché metodi di suggerimento simili, che però richiedono più sollecitazioni per affinare la risposta.

“Vanno bene quando si fa solo ricerca”, dice. “Ma se si è in produzione, si pensa ai costi. Ogni parola inserita viene conteggiata nella quota e il numero di token consumati determina il costo della piattaforma”. Inoltre, c’è il tempo necessario per rispondere a ogni domanda.

“Per ogni richiesta, se si deve adottare uno dei suddetti approcci, e chiedere spiegazioni, diventerà molto costoso”, afferma. “Se mi venisse dato un assegno in bianco, eseguirei lo stesso prompt migliaia di volte in diverse varianti per ottenere esattamente il risultato che voglio. Ma è necessario per il valore aggiunto? E, quindi, va trovato un giusto equilibrio quando si costruisce la soluzione”.

Problemi con i dati

Carm Taglienti, illustre ingegnere di Insight, si è recentemente imbattuto in una situazione nella quale le aspettative irrealistiche hanno quasi affondato un progetto di IA.

“Il fallimento di un progetto di intelligenza artificiale dipende al 99% dalle aspettative”, afferma Taglienti. “Non si tratta del fallimento della tecnologia, ma di ciò che le persone credono che essa possa fare”.

In questo caso particolare, una grande azienda statunitense che produce chip, voleva utilizzare l’intelligenza artificiale per risolvere i problemi di gestione della supply chain. L’azienda non solo si aspettava che l’IA facesse cose che non poteva fare, ma anche che funzionasse al primo tentativo. Ma, ogni volta che un progetto passa da una fase all’altra, c’è una buona probabilità che il primo approccio non funzioni, quindi è necessario apportare delle modifiche. Ognuno di questi punti rappresenta un’opportunità per un’impresa di rinunciare a un progetto di IA. Ma, in questo caso particolare, c’era anche un problema tecnico: la mancanza di dati validi.

In passato, quando un particolare chip o componente non era disponibile, l’azienda utilizzava un processo manuale ad alta intensità di lavoro per trovare un sostituto.

“Ma non era un metodo abbastanza agile per supportare la loro attività”, spiega. Alcuni di questi processi potevano essere sostituiti da alberi decisionali e sistemi esperti, ma erano fragili. Se qualcosa, nel settore, cambiava, l’intero impianto doveva essere aggiornato. L’utilizzo dell’IA, tuttavia, richiedeva una grande quantità di dati puliti. Ma il tipo di ricerca esaustiva dei componenti che potrebbe costituire i dati di addestramento è raro.

“Non si fa sempre un’analisi della concorrenza”, argomenta Taglienti, e il produttore di chip si è attenuto a un elenco di fornitori preferiti e ai principali backup, effettuando solo raramente revisioni dei fornitori su larga scala.

L’altro problema è che quando i dati erano disponibili, erano in forma difficile da elaborare. “Se sei un produttore, crei delle specifiche”, spiega. “Ma, in quel caso, non erano in un formato che si potesse ingerire rapidamente”.

Poi ci sono le questioni più complesse, come la localizzazione degli impianti del produttore e la sua reputazione di puntualità nelle consegne.

“Devo fare cose come spulciare il web e guardare il loro 10-K se si tratta di una società quotata in Borsa”, afferma Taglienti. “C’è molto di più che dire semplicemente di aver trovato un pezzo che funziona”. Secondo Taglienti, questo tipo di analisi poteva essere automatizzato anche prima dell’avvento dell’intelligenza artificiale, ma si tratta di un processo molto più complesso di quanto si potesse pensare all’inizio. E questo non è insolito. La mancanza di dati utilizzabili è da tempo un problema per i progetti di AI e ML. Anche nell’indagine AIIA, i problemi di dati sono stati una difficoltà significativa per l’84% delle aziende che stanno implementando l’intelligenza artificiale generativa. Greenstein di PwC, per esempio, ha lavorato, di recente, con un’azienda di beni di consumo che voleva lanciare un progetto per automatizzare l’elaborazione del back-office.

“Avevano già predisposto i loro servizi di AI”, spiega. “Il loro cloud era pronto. Il loro personale era pronto. Ma non avevano previsto quanto fosse difficile ottenere l’accesso ai dati”. Per esempio, una fonte richiedeva licenze API che l’azienda non possedeva, e per ottenerle avrebbe dovuto seguire un processo di approvvigionamento che può richiedere mesi.

“In un altro sistema, i controlli di accesso erano a un livello molto alto”, spiega. “Un terzo prevedeva controlli basati sull’utente. Per renderli adatti all’AI generativa, dovevano amalgamare tutti questi sistemi, ma non potevano farlo rapidamente”.

L’azienda avrebbe potuto ottenere tutti i dati di cui aveva bisogno, ma ciò avrebbe richiesto mesi.

“In questo caso, si sono orientati verso altri casi d’uso”, spiega Greenstein. “Ma la leadership ha perso tempo ed entusiasmo. Tutte le persone che erano convinte dei potenziali miglioramenti della produttività si sono sentite frustrate, così come i team IT che non avevano considerato i dati, e la leadership ha perso fiducia in loro”. Secondo l’esperto, le aziende dovrebbero dare priorità ai potenziali casi d’uso dell’IA prima di tutto in base all’impatto, in secondo luogo in base al rischio e, in terzo luogo, in base ai dati: “Ne abbiamo per questo caso d’uso? Abbiamo il permesso di usarli? Sono accessibili? Sono abbastanza puliti da essere utili?”, chiede. “Se non superiamo questa fase, non cominciamo. Troviamo qualcos’altro”.