In de race om kunstmatige intelligentie te versnellen, kiest Cerebras, het bedrijf uit Silicon Valley, een ongebruikelijke strategie: ga groots.
Terwijl een typische computerchip zo groot is als een vingernagel, is Cerebras' chip is de grootte van een bord.
Deep learning, een AI-technologie die stemassistenten, zelfrijdende auto's en Go-kampioenen aandrijft, vertrouwt op complexe"neuraal netwerk" software gerangschikt in lagen. Deep learning-systemen kunnen op één computer draaien, maar de grootste systemen zijn verspreid over duizenden verbonden machines, soms in grote datacenters, zoals die van Google. In een groot cluster schuiven tot 48 servers ter grootte van een pizzadoos in eenmansrekken; De planken staan in rijen opgesteld en vullen een gebouw ter grootte van een magazijn. De neurale netwerken in deze systemen kunnen lastige problemen oplossen, maar ze staan ook voor voor de hand liggende uitdagingen. Een netwerk dat zich in een cluster verspreidt, is als een brein verspreid over een kamer en met elkaar verbonden. Elektronen bewegen snel, maar toch is de communicatie tussen chips traag en kost het veel energie.
Eric Vishria, een algemene partner bij het durfkapitaalbedrijf Benchmark uit San Francisco, realiseerde zich voor het eerst het probleem toen hij Cerebras Systems, een nieuw computerchipbedrijf, hoorde spreken in het voorjaar van 2016. Benchmark staat bekend als een vroege investeerder in bedrijven als Twitter, Uber en eBay -- dat wil zeggen, in software, niet in hardware. Het bedrijf kijkt naar zo'n 200 start-ups per jaar en investeert in één."We speelden dit spelletje van het kussen van duizend kikkers," Vishria vertelde het me. Aan het begin van zijn toespraak besloot hij de kikker terug te gooien."Ik dacht, waarom ben ik hiermee akkoord gegaan?" Wij' gaan niet investeren in hardware," herinnerde hij zich dat hij dacht."Het'is stom."
Mede-oprichter van Cerebras, Andrew Feldman, begon met de glijbaan van zijn teamglijbaan en trok de aandacht van Vishria': zijn talent was indrukwekkend. Feldman vergeleek vervolgens de twee soorten computerchips. Eerst keek hij naar grafische verwerkingseenheden of GPU's - chips die speciaal zijn ontworpen voor het maken van 3D-afbeeldingen. Tegenwoordig vertrouwen de machine learning-systemen van' om verschillende redenen op deze grafische chips. Vervolgens keek hij naar centrale verwerkingseenheden, of cpu's, de chips voor algemeen gebruik die het meeste werk doen in een typische computer."De derde dia ging over'Gpus,' die eigenlijk slecht zijn voor deep learning -- ze zijn toevallig honderd keer beter dan cpu's." Cerebras heeft een nieuw type chip bedacht die niet is ontworpen voor graphics, maar specifiek is ontworpen voor kunstmatige intelligentie.
Vishria is gewend om pitches te horen van bedrijven die van plan zijn om deep learning te gebruiken op het gebied van cyberbeveiliging, medische beeldvorming, chatbots en andere toepassingen. Na de toespraak van Cerebras', sprak hij met ingenieurs bij bedrijven die door Benchmark werden gefinancierd, waaronder Zillow, Uber en Stitch Fix; Ze vertelden hem dat ze problemen hadden met AI omdat het te lang duurde om"trainen" het neurale netwerk. Google is begonnen met het gebruik van supersnelle"tensorverwerkingseenheden," of Tpus, speciale chips ontworpen voor KUNSTMATIGE intelligentie. Vishria wist dat er een goudkoorts gaande was en dat iemand de houwelen en schoppen moest maken.
Dat jaar leidden Benchmark en Foundation Capital, een ander durfkapitaalbedrijf, een financieringsronde van $ 27 miljoen voor Cerebras, die bijna $ 500 miljoen heeft opgehaald. Andere bedrijven maken ook zogenaamde kunstmatige-intelligentieversnellers; Cerebra's' concurrenten groq, Graphcore en Sambanova hebben samen meer dan $ 2 miljard aan kapitaal opgehaald. Maar Cerebras' aanpak is uniek. In plaats van tientallen wafers op een groot stuk silicium te printen, ze af te snijden en met elkaar te verbinden, heeft het bedrijf een gigantisch"wafer level" chippen. Terwijl een typische computerchip zo groot is als een vingernagel, is Cerebras ongeveer zo groot als een bord en is het de grootste computerchip ter wereld.
Zelfs concurrenten vonden de prestatie indrukwekkend."Dit is nieuwe wetenschap," Nigel Toon, Chief Executive en mede-oprichter van Graphcore', vertelde me."Het'is een ongelooflijk stukje techniek. Het'een meesterwerk." Ondertussen beschreef een andere ingenieur die ik sprak het als een wetenschappelijk project -- groot voor het grote's sake. In het verleden heeft het bedrijf geprobeerd om gigantische chips te maken, maar dit is niet gelukt; Cerebra's' plan komt neer op een weddenschap dat het overwinnen van technische uitdagingen mogelijk en de moeite waard is."Om eerlijk te zijn, voor mij is onwetendheid een voordeel," zei Visria."Ik weet niet' als ik wist hoe moeilijk het is om te doen wat zij doen, zou ik de moed hebben om te investeren."
Het is gemakkelijk om als vanzelfsprekend aan te nemen dat computers steeds sneller worden. Dit wordt vaak verklaard door de wet van Moore': het patroon dat in 1965 werd vastgesteld door halfgeleiderpionier Gordon Moore, volgens welke het aantal transistors op een chip elk jaar of elke twee jaar verdubbelt. Natuurlijk is Moore's wet't echt een wet, en ingenieurs werken onvermoeibaar om transistors te verkleinen terwijl ze ook de"architectuur" van elke chip om efficiëntere en krachtigere ontwerpen te maken.
Chiparchitecten hebben zich lang afgevraagd of een enkele, grootschalige computerchip misschien efficiënter is dan een aantal kleinere chips, net zoals een stad met geconcentreerde bronnen en dichte blokken efficiënter is dan een buitenwijk. Het idee werd voor het eerst uitgeprobeerd in de jaren zestig, toen Texas Instruments de productie van chips van enkele centimeters breed beperkte. Maar de ingenieurs van het bedrijf' kwamen in problemen met de opbrengst. Op een bepaalde siliciumwafel brengen fabricagefouten onvermijdelijk een bepaald aantal circuits in gevaar. Als een wafer 50 chips bevat, kan het bedrijf de slechte weggooien en de goede verkopen. Maar als elke succesvolle chip afhankelijk zou zijn van het werkende circuit van een enkele wafer, zouden veel dure wafers worden weggegooid. Texas Instruments vond een oplossing, maar de technologie en de behoefte waren er nog niet.
In de jaren tachtig probeerde een ingenieur genaamd Gene Amdahl opnieuw het probleem op te lossen met een bedrijf dat hij oprichtte, genaamd Trilogy Systems. Het werd de grootste startup in de geschiedenis van Silicon Valley', met ongeveer $ 250 miljoen aan financiering. Om het opbrengstprobleem aan te pakken, heeft Trilogy redundante componenten op de chip geprint. Deze methode verhoogt de productie maar verlaagt de snelheid van de chip. Ondertussen worstelt Trilogy op andere manieren. Amdahl reed een motorrijder aan met zijn Rolls Royce, wat juridische problemen veroorzaakte; De president stierf aan een hersentumor; Zware regenval heeft de bouw van fabrieken, roestende airconditioningsystemen en stof op spanen vertraagd. In 1984 gaf Trilogy het op."Ik wist'niet hoe moeilijk het zou zijn," Amdahl's zoon vertelde The Times.
Als de technologie van Trilogy' succesvol is, kan deze nu worden gebruikt voor diepgaand leren. In plaats daarvan lossen Gpus (chips die in videogames worden gebruikt) wetenschappelijke problemen op in nationale laboratoria. Het hergebruik van gpu's voor AI hangt af van het feit dat neurale netwerken, hoewel zeer complex, afhankelijk zijn van veel vermenigvuldiging en optelling. Wanneer de"neuronen" in het netwerk vuren ze elkaar af, versterken of verminderen ze elkaar's signalen, en vermenigvuldigen ze met coëfficiënten die verbindingsgewichten worden genoemd. Een efficiënte AI-processor berekent veel activeringen parallel; Het combineert ze in een reeks getallen die vectoren worden genoemd, of rasters van getallen die matrices worden genoemd, of hoger-dimensionale blokken die tensoren worden genoemd. Idealiter wil je de ene matrix of tensor tegelijk met de andere vermenigvuldigen. Gpu's zijn ontworpen om iets soortgelijks te doen:
& quot;De schaduw van Trilogy is zo groot," Feldman vertelde me onlangs,"dat mensen stoppen met denken en beginnen te zeggen:'Het'is onmogelijk.'" GPU-bedrijven, waaronder Nvidia, maakten van de gelegenheid gebruik om hun chips aan te passen voor deep learning. In 2015 begonnen Feldman en een groep computerarchitecten het idee van grotere chips te bespreken nadat ze mede-oprichter waren van een computerservermaker, Seamicro, die ze voor $ 334 miljoen aan chipmaker AMD verkochten. Ze werkten vier maanden aan de kwestie in een kantoor dat was geleend van een durfkapitaalbedrijf. Toen ze een schets hadden van een haalbare oplossing, spraken ze met acht bedrijven; Kreeg financiering van Benchmark, Foundation Capital en Eclipse en begon aan te nemen.
Cerebra's' eerste taak is het oplossen van de fabricageproblemen die grote chips teisteren. De chip was oorspronkelijk een cilindrische staaf van kristallijn silicium met een diameter van ongeveer een voet, en de stalen staaf werd in wafels van minder dan een millimeter dik gesneden. De schakeling wordt dan"afgedrukt" op de wafel via een proces dat lithografie wordt genoemd. Uv-gevoelige chemicaliën worden zorgvuldig op het oppervlak afgezet en vervolgens wordt een straal UV-licht geprojecteerd door een gedetailleerd sjabloon dat een masker wordt genoemd. Deze chemicaliën reageren om circuits te vormen.
Normaal gesproken wordt het gebied dat wordt bedekt door licht dat door het masker wordt geprojecteerd, een chip. Dan beweegt de chip en wordt het licht weer geprojecteerd. Nadat er tientallen of honderden chips zijn geprint, worden ze met een laser uit de wafer gesneden."De makkelijkste manier om het te doen is voor je moeder om een rond koekjesdeeg te pakken," zei Veldman."Ze heeft een koekjesvorm en ze snijdt de koekjes voorzichtig uit." De wetten van natuurkunde en optica maken het onmogelijk om een grotere koekjesvormer te maken. Als resultaat hebben"we een technologie ontwikkeld waarmee je kunt communiceren door middel van een deegje tussen twee koekjes."
In het printsysteem dat Cerebras heeft ontwikkeld in samenwerking met TSMC, het bedrijf dat de chip maakt, overlappen de randen van de koekjes elkaar zodat hun draden met elkaar verbonden zijn. Het resultaat is een enkele"wafelgrootte" wafeltje, koperkleurig vierkant en 21cm aan elke kant. (De grootste GPU's hebben een diameter van iets minder dan 3 cm.) Cerebras produceerde zijn eerste chip, Wafer-scale Engine 1, in 2019. Wse-2, dat dit jaar werd geïntroduceerd, gebruikt een dichter circuit, met 2,6 biljoen transistors verpakt in 850.000 verwerkingseenheden , of"kernen". (Top GPU's hebben slechts een paar duizend cores, terwijl de meeste CPU's er minder dan 10 hebben.)
& quot;2,6 biljoen transistors is verbazingwekkend," aldus Aart de Geus, voorzitter en co-CEO van Synopsys. Synopsys levert software die Cerebras en andere chipmakers gebruiken om hun chipontwerpen te maken en te valideren. De Geus zegt dat ingenieurs bij het ontwerpen van chips eerst moeten nadenken over twee kernvragen:"Waar komen de data vandaan?" Waar wordt het afgehandeld?" Toen chips nog eenvoudiger waren, konden ontwerpers deze vragen beantwoorden met een potlood op een tekentafel; Als je werkt met de complexere chips van', voer dan code in die de architectuur beschrijft die ze willen creëren, en ga dan verder met visualisatie- en coderingstools."Bedenk hoe het huis er vanaf het dak uitziet," zei de Geus."Is de garage bij de keuken? Of is het dicht bij de slaapkamer? Je wilt het in de buurt van de keuken - anders moet je' boodschappen doen door elke hoek van het huis." Nadat hij de plattegrond had ontworpen, legde hij uit:"je kunt vergelijkingen gebruiken om te beschrijven wat er in de kamer gebeurt."
De ontwerpcomplexiteit van chips is verbijsterend."Er zijn hier veel lagen," zei de Geus, met circuits die kriskras door elkaar liepen en op elkaar lagen, als een groot viaduct van een snelweg. Voor de Cerebras-ingenieurs, die op de schaal van een wafer werken, wordt de complexiteit verhoogd. Samenvatting' software helpt in de vorm van kunstmatige intelligentie: algoritmen voor patroonherkenning identificeren veelvoorkomende problemen en stellen oplossingen voor; Het optimalisatieprogramma verplaatst de ruimte naar een snellere, efficiëntere opstelling. Als er te veel rijstroken in een gebouw met twee blokken proberen te persen, kunnen ingenieurs met de software Robert Moses spelen en het blok verplaatsen.
Uiteindelijk, zegt Feldman, zijn er verschillende voordelen aan te grote chipontwerpen. Als de kernen op dezelfde chip zitten, communiceren ze sneller: het brein van de computer' is nu geconcentreerd in een enkele schedel, in plaats van verspreid over een kamer. Grotere chips gaan ook beter om met het geheugen. Gewoonlijk moet een kleine chip die klaar is om een bestand te verwerken, het bestand eerst verkrijgen van een gedeelde geheugenchip die zich elders op de printplaat bevindt; Alleen de meest gebruikte gegevens worden dichter bij huis gecached. Bij het beschrijven van de efficiëntie van chips op wafer-niveau, bood Feldman een analogie: hij vroeg me om me een groep huisgenoten (kern) voor te stellen die in een slaapzaal (chip) woonden en die een voetbalwedstrijd wilden kijken (computerwerk doen). Om de wedstrijd te kunnen bekijken, zegt feldman, moeten huisgenoten bier in de koelkast bewaren (gegevens worden in het geheugen opgeslagen); Cerebras heeft een koelkast in elke kamer zodat huisgenoten't niet het risico hoeven te nemen om naar de gemeenschappelijke keuken van's of Safeway te gaan. Dit heeft als bijkomend voordeel dat elke kern verschillende gegevens sneller kan verwerken."Dus ik kan Bud in mijn slaapzaal hebben," zei Veldman."In je studentenhuis mag je Schlitz hebben."
Ten slotte moet Cerebras opbrengstproblemen overwinnen. De ingenieurs van het bedrijf' gebruiken de truc van Trilogy': redundantie. Maar hier hebben ze een voordeel ten opzichte van hun voorgangers. Trilogy probeert generieke chips te maken met veel verschillende componenten, dus bedrading rond een enkele defecte component moet mogelijk worden aangesloten op een verre vervanging. Op Cerebra's' chip, alle kernen zijn identiek. Als één koekje verkeerd is, zijn de koekjes eromheen net zo goed.