La parola chiave del deep learning è «sovraparametrizzazione». Infatti, come non mi stanco mai di ripetere ai miei studenti di econometria, un «cattivo» modello può adattarsi perfettamente ai dati osservati, a condizione di essere sovraparametrizzato, e cioè includere un sufficiente numero di variabili, non necessariamente collegate al fenomeno oggetto di studio.

Quindi la sensazione che ho analizzando le architetture delle moderne reti neurali multilivello – e dei relativi algoritmi di deep learning – è che in fin dei conti si tratti solo di «approssimatori universali», con un livello di sofisticazione molto avanzato, è vero, ma nulla più che approssimatori. Utili forse per descrivere una situazione esistente, ma pressoché inservibili a fini previsivi.

E infatti alcuni scienziati iniziano a domandarsi se il deep learning sia realmente la soluzione, come nota Steve Lohr in un articolo pubblicato sul New York Times. Tanto che gli stessi scienziati avvertono sui rischi legati all’infatuazione per il deep learning, che «potrebbe alimentare miopia e superinvestimenti oggi, disillusione domani».

«Gli algoritmi di deep learning», osserva Steve Lohr, «si addestrano su insiemi di dati correlati − come le immagini di volti umani – e alimentati da masse crescenti di dati, che ne migliorano l’accuratezza». In questa semplice osservazione c’è la chiave che determina il successo di un’architettura di deep learning, che ottiene risultati se utilizzata per compiti specifici (come il riconoscimento di oggetti o le applicazioni di speech-to-text) e a condizione che siano disponibili enormi quantità di dati.

Non a caso, il deep learning arranca quando si avventura in terreno aperto, e cioè negli ambiti più propri dell’intelligenza umana, come ricerca di significato, ragionamento e conoscenza basata sul senso comune. In altri termini, ciò che manca al deep learning è la capacità di generalizzazione. Con il rischio, secondo Oren Etzioni, amministratore delegato dell’Allen Institute for Artificial Intelligence, di tralasciare altri approcci in grado di fare realmente progredire gli studi sull’intelligenza artificiale.

Così l’Allen Institute – che ha annunciato un programma triennale di ricerca da 125 milioni di dollari – e altri istituti studiano architetture IA più ampie e flessibili rispetto al deep learning. Come gli sviluppatori di Kyndi, startup della Silicon Valley, che hanno riesumato il Prolog, un linguaggio di programmazione orientato al calcolo simbolico non numerico, risalente agli anni Settanta. O Vicarious, altra startup basata a Union City CA, che grazie alla combinazione di modelli probabilistici generativi e neuroscienze riesce a conferire ai robot maggiore velocità di apprendimento, più capacità di adattamento e di generalizzazione rispetto a quella ottenibile con il deep learning.

Sulla stessa lunghezza d’onda il DARPA, che darà l’avvio il prossimo autunno al programma Machine Common Sense, finalizzato alla ricerca su tecnologie che emulino il ragionamento umano basato sul senso comune, uno dei terreni su cui il deep learning, come si è detto in precedenza, mostra le più evidenti lacune. Il programma, di durata quinquennale, riceverà un finanziamento complessivo pari a 60 milioni di dollari.

Fonte: The New York Times