Arrow ha svolto un ruolo chiave nello sviluppo della prima unità di elaborazione indirizzabile di rete a 7 nm al mondo, alloggiata nell’appliance completa di inferenza AI NR1-S di NeuReality, che ora offre vantaggi competitivi in termini di costi e risparmio energetico rispetto alla tradizionale architettura incentrata sulla CPU.
L’NR1-S, abbinato agli acceleratori AI in un server di inferenza AI, riduce i costi del data center fino al 90% e aumenta l’efficienza energetica fino a quindici volte, offrendo nello stesso tempo una scalabilità lineare senza cali di prestazioni o ritardi, via via che vengono aggiunti ulteriori acceleratori AI, secondo NeuReality.
Il progetto può potenzialmente rendere più conveniente e veloce l’inferenza AI aziendale cloud e on-premise, aumentando l’accesso a servizi di valore nei settori sanitario e dell’imaging medico, bancario e assicurativo, nei call center e assistenti virtuali basati sull’intelligenza artificiale.
“Il nostro NAPU affronta i principali colli di bottiglia che limitano le prestazioni degli attuali acceleratori AI, come la gestione dell’alimentazione e il trasferimento dei dati dalla rete all’acceleratore AI, in genere una GPU, un FPGA o un ASIC”, ha affermato Erez Cohen, Senior Hardware System Engineer di NeuReality. “Il supporto di Arrow con l’hardware e il firmware per la gestione dell’alimentazione e l’ingegneria termica ci ha permesso di concentrare le risorse su una soluzione completa di inferenza IA silicio-software, che ridurrà le barriere del mercato dell’IA per i governi e le aziende di tutto il mondo”.
Apportando al progetto ampie competenze di progettazione embedded, gli esperti di Arrow hanno fornito una guida alla progettazione firmware e hardware, sviluppando e convalidando il firmware per la gestione dell’alimentazione. Arrow ha gestito anche il debug del microcontrollore (MCU) e dei flussi di alimentazione della piattaforma per supportare il successo del bring-up NAPU, NR1-S e del software NeuReality integrato, il tutto eseguito in tempi record. Il team di Arrow ha anche aiutato a selezionare l’MCU più adatto per fornire il collegamento incrociato dell’interfaccia tra i componenti di sistema della scheda PCIe e del server.
Le caratteristiche del progetto sviluppato da Arrow
L’NR1 NAPU è un server-on-a-chip personalizzato, che fornisce le prestazioni complete di ogni acceleratore AI dedicato, dal circa 30% attuale fino al 100% di utilizzo completo, aumentando la produzione totale e riducendo lo spreco di silicio. Il NAPU non solo effettua la migrazione dei servizi, tra cui la terminazione della rete, la qualità del servizio e la pre- e post-elaborazione dei dati di intelligenza artificiale, ma migliora anche il flusso di dati per pipeline di flussi di dati AI ad alto volume e ad alta varietà.
L’architettura del sistema NeuReality elimina il collo di bottiglia delle prestazioni causato dalla tradizionale architettura di sistema incentrata sulla CPU su cui si basano oggi tutti i sistemi di inferenza AI e i produttori di hardware. Di conseguenza, l’NR1-S aumenta i costi e l’efficienza energetica dell’esecuzione di pipeline di dati AI ad alto volume e ad alta varietà, una delle principali preoccupazioni finanziarie nell’implementazione delle odierne applicazioni di IA convenzionali e generative ad alto consumo energetico.
Potrebbe interessarti anche:
Arrow e i progressi dell’Edge AI al tinyML EMEA Innovation Forum di Milano
