Hai sentito parlare del paradosso di Moravec? Il paradosso afferma che il ragionamento avanzato richiede pochissima potere computazionale per un sistema di intelligenza artificiale (AI), pur implorando le capacità percettive-motori che gli umani danno per scontato richiede enormi risorse computazionali. In sostanza, compiti logici complessi sono più facili per l'IA rispetto ai compiti sensoriali di base che gli istinti umani possono svolgere. Questo paradosso evidenzia la differenza tra AI e capacità cognitive umane in questa fase.
Le persone sono intrinsecamente multimodali. Ognuno di noi è come un terminal intelligente che di solito deve andare a scuola per essere educato (addestrato), ma lo scopo e il risultato di tale formazione e apprendimento è che abbiamo la capacità di lavorare e vivere autonomamente senza sempre fare affidamento su istruzioni esterne e controllare.
Impariamo il mondo che ci circonda attraverso più modalità sensoriali come vista, linguaggio, suono, tocco, gusto e odore per analizzare, ragionare, decidere e agire.
Dopo anni di fusione del sensore ed evoluzione dell'IA, i robot sono in gran parte equipaggiati con sensori multimodali in questa fase. Mentre portiamo più potenza di calcolo su dispositivi Edge come i robot, questi dispositivi stanno diventando più intelligenti e più intelligenti, in grado di percepire l'ambiente circostante, comprendere e comunicare in linguaggio naturale, acquisire tapestri attraverso interfacce di rilevamento digitale, nonché percepire la forza specifica del robot, Velocità angolare e persino il campo magnetico attorno al robot attraverso una combinazione di accelerometri, giroscopi e magnetometri e altro ancora.
Verso una nuova era di robotica e cognizione della macchina
Prima di Transformer e Big Language Models (LLMS), l'implementazione di multimodalità in AI in genere richiedeva l'uso di più modelli separati responsabili di diversi tipi di dati (testo, immagini, audio) e l'integrazione delle diverse modalità attraverso un processo complesso.
Con l'avvento dei modelli di trasformatore e degli LLM, la multimodalità è diventata più integrata, consentendo a un singolo modello di elaborare e comprendere simultaneamente più tipi di dati, con conseguenti sistemi di intelligenza artificiale che sono più in grado di rilevare in modo completo il loro ambiente. Questo spostamento ha notevolmente migliorato l'efficienza e l'efficacia delle applicazioni di intelligenza artificiale multimodale.
Mentre LLMS come GPT -3 sono principalmente basati sul testo, l'industria ha fatto rapidi progressi verso la multimodalità. Dalla clip di Openi e Dall-e, e ora Sora e Gpt -4 O, sono esempi di modelli che si sono spostati verso l'interazione multimodale e più naturale da uomo-computer. Ad esempio, Clip comprende le immagini accoppiate al linguaggio naturale, colmando così il divario tra informazioni visive e testuali; Dall-e mira a generare immagini basate su descrizioni testuali. Vediamo il modello di Google Gemini sottoposti a un'evoluzione simile.
Nel 2024, l'evoluzione multimodale accelera. A febbraio, Openi ha rilasciato Sora, che genera video realistici o fantasiosi basati su descrizioni di testo. Quando ci pensi, questo potrebbe fornire un percorso promettente per costruire simulatori del mondo universale o diventare uno strumento importante per la formazione di robot. Dopo tre mesi, GPT -4 O ha migliorato significativamente le prestazioni dell'interazione umana-robot ed è in grado di ragionare in tempo reale tra audio, visione e testo. La combinazione di informazioni sul testo, visive e audio per addestrare un nuovo modello end-to-elimina elimina due transizioni modali dalla modalità di input al testo e quindi dalla modalità di testo alla modalità di output, che a sua volta migliora notevolmente le prestazioni.
Nella stessa settimana di febbraio, Google ha rilasciato Gemini 1.5, che ha ampliato notevolmente la lunghezza del contesto a 1 milione di token. Ciò significa che 1.5 Pro può elaborare grandi quantità di informazioni contemporaneamente, tra cui un'ora di video, 11 ore di audio e una base di codice che contiene più di 30, 000 righe di codice o 700, 000 Words.Gemini 1.5 è basato sulla principale ricerca di Google sul trasformatore e sull'architettura esperta di membri misti (MOE) e sui modelli Open-Sources 2B e 7B che possono essere distribuiti sul lato del bordo. Alla conferenza I/O di Google a maggio, oltre a raddoppiare la durata del contesto e rilasciare una serie di strumenti e app Generative AI, Google ha esplorato la sua visione per il futuro di Project Astra, un assistente di intelligenza artificiale per uso generale che elabora le informazioni multimodali , comprende il contesto in cui un utente è posto e interagisce con le persone nelle conversazioni in modo molto naturale.
Come compagnia dietro l'Open-Source LLM Llama, Meta si unisce anche alla traccia di intelligenza artificiale generale (AGI).
Questa vera multimodalità aumenta notevolmente il livello di intelligenza meccanica e porterà a nuovi paradigmi per molti settori.
Ad esempio, i robot erano molto omogenei, con alcuni sensori e capacità di locomozione, ma generalmente non avevano il "cervello" per imparare nuove cose e adattarsi ad ambienti non strutturati e non familiari.
Si prevede che gli LLM multimodali trasformano la capacità dei robot di analizzare, ragionare e apprendere, spostandoli dalla specializzazione alla generalizzazione. PC, server e smartphone sono leader in piattaforme di elaborazione per uso generale e possono eseguire molti tipi diversi di applicazioni software per ottenere un'ampia varietà di funzioni. La generalizzazione aiuterà ad aumentare, generare economie di scala e i prezzi possono essere drasticamente ridotti man mano che si scatenano, portando a un ciclo di adozione virtuoso in più aree.
Elon Musk notò presto i benefici della tecnologia generalizzata, poiché i robot di Tesla si evolvevano da Bumblebee nel 2022 a Optimus Gen 1, annunciato nel marzo 2023 e Gen 2, annunciati alla fine del 2023, con sempre crescenti versatilità e capacità di apprendimento. Negli ultimi mesi 6-12, abbiamo assistito a una serie di scoperte nel campo della robotica e della robotica umanoide.
Nuove tecnologie dietro la robotica di prossima generazione e l'intelligenza incarnata
Non c'è dubbio che abbiamo ancora molto lavoro da fare prima che l'intelligenza incarnata raggiunga la produzione di massa. Abbiamo bisogno di progetti più leggeri, fasi più lunghi e piattaforme di calcolo dei bordi più veloci e più potenti per elaborare e fondere le informazioni sui dati del sensore per prendere decisioni tempestive e controllo di controllo.
E ci stiamo muovendo verso la creazione di robot umanoidi; Migliaia di anni di civiltà umana hanno prodotto ambienti onnipresenti progettati per l'uomo e si prevede che i sistemi robotici umaniidi siano in grado di interagire comodamente con l'uomo e l'ambiente e eseguire operazioni richieste in ambienti esistenti umani a causa della loro somiglianza nella forma delle persone. Questi sistemi saranno adatti a gestire compiti sporchi, pericolosi e noiosi come la cura dei pazienti e la riabilitazione, i lavori di servizio nel settore dell'ospitalità, i sussidi didattici o i compagni di apprendimento nel campo educativo e compiti pericolosi come la risposta alle catastrofi e la gestione dei materiali pericolosi . Tali applicazioni utilizzano attributi umani della macchina umanoide per facilitare le interazioni naturali umane-robot, agire negli spazi incentrati sull'uomo ed eseguire compiti che sono spesso difficili da svolgere per i robot tradizionali.
Molte aziende di intelligenza artificiale e robotica stanno lanciando nuove ricerche e collaborazioni su come addestrare i robot per migliorare e pianificare in nuovi ambienti non strutturati. Come nuovi "cervelli" di robot, i modelli pre-addestrati su grandi quantità di dati hanno eccellenti capacità di generalizzazione, consentendo ai robot di vedere e comprendere i loro ambienti in modo più completo, regolare i loro movimenti e azioni in base al feedback sensoriale e ottimizzare le loro prestazioni In una varietà di ambienti dinamici.
Come esempio interessante, il cane robot di Boston Dynamics, Spot, può fungere da guida turistica in un museo, interagire con i visitatori, introdurli ai vari mostre e rispondendo alle loro domande. Potrebbe essere difficile da credere, ma in questo caso d'uso, le prestazioni divertenti, interattive e sottili di Spot sono più importanti che assicurarsi che i fatti siano corretti.
Trasformatore di robotica: il nuovo cervello della robotica
Il trasformatore di robotica (RT) si sta evolvendo rapidamente per tradurre gli input multimodali direttamente in codice attuabile. RT -2 di Google DeepMind si comporta e il suo predecessore, Rt -1, con un tasso di successo quasi al 100% quando si eseguono attività che sono state viste prima. Tuttavia, se addestrato con Palm-E (un modello di lingua multimodale incorporato orientato al robot) e Pali-X (una visione multilingue su larga scala e un modello linguistico, non specificamente progettato per i robot), RT -2 e Outperforms Rt -1 su attività invisibili.
Microsoft ha introdotto Llava, un assistente di lingua e visione su larga scala. Originariamente progettato per attività basate sul testo, Llava sfrutta la potenza di GPT -4 di creare un nuovo paradigma per le istruzioni multimodali per seguire i dati, integrando perfettamente i componenti testuali e visivi, che possono essere utili per le attività robotiche. Al momento della sua introduzione, Llava ha stabilito nuovi record per la chat multimodale e le attività scientifiche di quizz, già superate le capacità medie umane.
Come accennato in precedenza, l'incursione di Tesla nell'umanoide e nell'IA General Purpose Robotics è significativa non solo perché è progettata per la produzione di scala e in serie, ma anche perché la solida base tecnologica completamente a guida autonoma (FSD) dell'autopilota di Tesla per le automobili può essere utilizzata per robot. Tesla ha anche un caso di utilizzo di produzione intelligente per applicare Optimus al suo nuovo processo di produzione di veicoli energetici.
Il braccio è la pietra angolare del futuro della robotica
ARM crede che il cervello robotico, sia il "grande cervello" che il "piccolo cervello", dovrebbe essere un sistema eterogeneo di elaborazione dell'IA che offre prestazioni superiori, risposta in tempo reale ed efficienza energetica.
La robotica prevede una vasta gamma di attività, tra cui il calcolo di base (ad es. Invio e ricezione di segnali da e verso i motori), elaborazione dei dati avanzati (ad es. Interpretazione dei dati di immagini e sensori) e l'esecuzione degli LLM multimodali menzionati in precedenza. La CPU è adatta per le attività per uso generale, mentre i pedali di gas di intelligenza artificiale e le GPU possono gestire in modo più efficiente le attività di elaborazione parallela, come l'apprendimento automatico (ML) ed l'elaborazione grafica. Ulteriori pedali a gas come processori del segnale di immagine e codec video possono anche essere integrati per migliorare le capacità di visione del robot e l'efficienza di archiviazione/trasmissione. Inoltre, la CPU dovrebbe avere reattività in tempo reale e deve essere in grado di eseguire sistemi operativi come pacchetti Linux e ROS.
When extended to the robotic software stack, the operating system layer may also require a real-time operating system (RTOS) that can reliably handle time-critical tasks, as well as a Linux distribution customized for robotics, such as ROS, which can provide Servizi progettati per cluster di calcolo eterogenei. Riteniamo che gli standard e i programmi di certificazione sponsorizzati da braccio come SystemReady e PSA certificati aiuteranno a scalare lo sviluppo di software robotico. SystemReady è progettato per garantire che le distribuzioni Rich OS standard siano eseguite su una vasta gamma di System-on-Chips (SOC) in base all'architettura ARM, mentre la certificazione PSA aiuta a semplificare le soluzioni di implementazione della sicurezza per soddisfare i requisiti di sicurezza e normativi regionali per i dispositivi connessi.
Progressi in modelli multimodali su larga scala e AI generativo annunciano una nuova era nello sviluppo di robot di intelligenza artificiale e robot umanoidi. Insieme all'informatica AI ed ecosistemi, l'efficienza energetica, la sicurezza e la sicurezza funzionale sono essenziali per rendere la robotica mainstream in questa nuova era. I processori ARM sono già ampiamente utilizzati nella robotica e non vediamo l'ora di lavorare a stretto contatto con l'ecosistema per rendere il braccio una pietra miliare del futuro della robotica AI.