Doorbraak in AI: Researchers say they trained a foundation model from scratch for about $1,500 – Een Gamechanger voor Bedrijven
Het trainen van een fundamenteel groot taalmodel (LLM) vanaf nul is traditioneel een buitengewoon dure en middelen-intensieve onderneming, die miljoenen dollars kost en internet-schaal data vereist. Dit is de reden waarom de meeste bedrijven er niet eens aan beginnen, omdat de drempel te hoog is. Echter, recente ontwikkelingen door Sapient suggereren een radicaal andere aanpak. Zij stellen een veel goedkoper pad voor, wat een paradigmaverschuiving kan betekenen voor de adoptie van geavanceerde AI in bedrijfsomgevingen. Researchers say they trained a foundation model from scratch for about $1,500, een bewering die de potentie heeft om de economie van AI-ontwikkeling volledig te transformeren. Deze spectaculaire prestatie opent de deur voor organisaties om hun eigen krachtige redeneermodellen te creëren, zonder de gigantische investeringen die voorheen noodzakelijk waren. Het belooft een toekomst waarin het opleiden van een basismodel vanaf nul voor slechts $1.500 niet langer een utopie is, maar een haalbare realiteit.
Om het dogma van brute-force schaling te doorbreken, hebben onderzoekers bij Sapient HRM-Text ontwikkeld. Dit model vervangt standaard Transformers met een uiterst steekproef-efficiënt Hiërarchisch Recurrent Model (HRM), een architectuur die ze vorig jaar al introduceerden. HRM ontkoppelt computationele processen in langzaam evoluerende strategische en snel evoluerende uitvoeringslagen. In plaats van brute-force autoregressieve voorspelling op ruwe tekst, traint HRM-Text uitsluitend op instructie-antwoordparen. Dit sluit nauw aan bij real-world bedrijfsomgevingen, waar gebruikers meestal een gericht antwoord op een specifieke taak verwachten. Dankzij deze innovatieve aanpak, kunnen we nu spreken over een situatie waarin researchers say they trained a foundation model from scratch for about $1,500, wat de democratisering van geavanceerde AI-modellen aanzienlijk versnelt.
De onderzoekers waren in staat om een HRM-Text-model met 1 miljard parameters vanaf nul te trainen tegen een fractie van de kosten en tokens van normale LLM's. Hun model behaalde prestaties die concurrerend waren met veel grotere open modellen op belangrijke industriële benchmarks. Voor real-world AI-applicaties betekent dit dat fundamentele voor-training niet langer beperkt is tot instellingen met veel middelen. Met HRM-Text kunnen organisaties betaalbaar hun eigen zeer capabele redeneermodellen vanaf nul voor-trainen en deze koppelen aan externe kennisarchieven. Dit is een gamechanger, vooral wanneer je bedenkt dat researchers say they trained a foundation model from scratch for about $1,500, waardoor op maat gemaakte AI toegankelijker wordt dan ooit.
De Training Bottleneck: Waarom Researchers say they trained a foundation model from scratch for about $1,500 zo'n Impact heeft
Wanneer we een LLM trainen, geven we er in feite niet om of het de exacte volgorde van woorden in een willekeurige Reddit-thread uit 2014 heeft gememoriseerd. Wat we willen, is dat het model een diep, onderliggend begrip van menselijke taal, logica, feiten en redenering ontwikkelt. De huidige aanpak is brute force: schraap het internet leeg, voer biljoenen keren een next-token voorspelling uit en neem aan dat het model een werkend intern wereldmodel heeft ontwikkeld. Dit betekent in essentie dat we miljoenen dollars aan rekenkracht verspillen door modellen te dwingen alles van het internet te memoriseren, alleen maar zodat ze indirect kunnen leren denken. Bijvoorbeeld, standaard decoder-only modellen besteden waardevolle compute aan het toewijzen van verlies om de prompt zelf te reconstrueren, zelfs als de prompt van de gebruiker al bekend en geleverd is tijdens inferentie. Dit is de inefficiëntie die Sapient aanpakt, en de reden waarom researchers say they trained a foundation model from scratch for about $1,500 zo'n significant gegeven is.
In plaats van dit simpelweg als een computationele hindernis te zien, moet de industrie het erkennen als een ernstige zakelijke beperking. Guan Wang, CEO van Sapient Intelligence, formuleerde dit als een kwestie van de "economie van iteratie". "Bedrijven worden vandaag geconfronteerd met drie samengestelde problemen: training is duur, infrastructuur is zwaar en experimentatiecycli zijn te traag," aldus Wang. "De schaalverslaving van de industrie zegt: 'Als het model faalt, maak het dan groter. Voeg meer data toe. Voeg meer GPU's toe.' Dat heeft gewerkt, maar het bereikt een punt van afnemende meeropbrengsten. Meer schaal betekent vaak meer memorisatie, meer latentie, meer infrastructuur en meer afhankelijkheid van leveranciers. Het geeft een bedrijf niet noodzakelijkerwijs een betere redeneer-engine." Deze architecturale en computationele inefficiëntie is precies de reden waarom fine-tuning van bestaande dichte transformers niet altijd de ultieme oplossing is voor bedrijven, wat de prestatie dat researchers say they trained a foundation model from scratch for about $1,500 alleen maar indrukwekkender maakt.
Fine-tuning om de algemene capaciteiten van een model te behouden, vereist vaak het mengen van aanzienlijke algemene data in het proces, wat het computationeel zwaar en moeilijk te controleren maakt. "Stel je een hedgefonds, verzekeraar of bank voor met zeer propriëtaire data: interne onderzoeksnotities, transactielogica, complianceregels, analistenmemo's, risicomodellen, portefeuillebeperkingen," zei Wang. "Zij willen die data misschien niet naar een extern frontier-model sturen, en ze hebben misschien geen gigantisch algemeen model nodig dat het internet heeft gememoriseerd. Wat ze nodig hebben, is een compacte redeneerkern die hun taakstructuur kan leren, kan redeneren over regels en getallen, en kan draaien in een gecontroleerde omgeving." Omdat HRM-Text zijn computationele focus strikt richt op taakvoltooiing en latente redenering, stelt het bedrijven in staat om te beginnen met een kleiner, slimmer model en dit aan te passen aan een propriëtair domein met veel minder infrastructuur. Dit benadrukt de enorme waarde van de bewering dat researchers say they trained a foundation model from scratch for about $1,500, waardoor op maat gemaakte AI binnen handbereik komt.
Rethinking Architectures met HRM-Text: Waarom Researchers say they trained a foundation model from scratch for about $1,500 Mogelijk is
HRM, geïntroduceerd in 2025, vertegenwoordigt een fundamentele afwijking van traditionele Transformer-modellen. Om een steekproef-efficiëntere engine te bouwen, ontkoppelt HRM computationele processen in langzaam evoluerende strategische en snel evoluerende uitvoeringslagen. De snelle L-module voert lokale iteratieve verfijning uit, terwijl de langzame H-module stabiele semantische context handhaaft over cycli heen. De verwerking bestaat uit twee cycli op hoog niveau, waarbij elke cyclus drie snelle L-module updates uitvoert, gevolgd door een enkele langzame H-module update. Standaard parameter-gedeelde recurrente architecturen kunnen soms kleine logische puzzels aan, maar de Sapient-onderzoekers ontdekten dat ze zeer instabiel werden wanneer ze werden geschaald naar 1 miljard parameters voor taal taken. De scheiding tussen HRM's langzame H-module en snelle L-module is wiskundig noodzakelijk, niet alleen een esthetische keuze. Zoals Wang zei: "Voor logische rasters kun je soms wegkomen met een klein recursief mechanisme omdat de wereld schoon en begrensd is. Taal is niet zo. Taal heeft zowel snelle lokale verfijning als langzame semantische stabiliteit nodig." Het is deze fundamentele heroverweging die de basis legt voor de verbazingwekkende claim dat researchers say they trained a foundation model from scratch for about $1,500.
Hoewel de oorspronkelijke HRM zeer effectief bleek te zijn voor gecontroleerde, symbolische redeneerproblemen, stuitten de onderzoekers op een muur bij de toepassing ervan op de enorme, open-ended complexiteiten van gegeneraliseerde taalmodellering. Hoewel de loops van HRM het een ongelooflijk efficiënte denker maken, maken dezelfde loops het wiskundig vluchtig om te trainen op de diverse chaos van menselijke taal. Het uitvoeren van recurrente loops op taal creëert massale wiskundige instabiliteit, specifiek, exploderende of verdwijnende gradiënten. Om deze feedbackloop in het neurale netwerk te voorkomen, introduceerden de onderzoekers twee belangrijke architecturale innovaties in HRM-Text. Ten eerste ontwikkelden ze MagicNorm, een gespecialiseerde normalisatietechniek die specifiek is ontworpen om de interne signalen stabiel te houden, ongeacht hoe vaak het model zijn denkproces herhaalt. Dit draagt bij aan de stabiliteit en efficiëntie, waardoor het trainen van een fundamenteel model vanaf nul voor ongeveer $1.500 haalbaar wordt.
Ten tweede ontwierpen ze een opwarmmethode om de training te stabiliseren. Tijdens de vroege training wordt het model alleen geëvalueerd op korte, ondiepe redeneerlussen. Naarmate de training vordert, warmt het systeem op, waardoor het model geleidelijk diepere en langere redeneersequenties krijgt. Ze veranderden ook het trainingsobjectief van next-token voorspelling naar taakvoltooiing, waarbij het model alleen wordt beloond voor het volledige antwoord in plaats van individuele tokens die het genereert. Om dit doel te bereiken, veranderden ze de trainingsdata van HRM-Text van ruwe tekst naar uitsluitend instructie-antwoordparen. Deze gerichte aanpak is cruciaal voor de efficiëntie die maakt dat researchers say they trained a foundation model from scratch for about $1,500.
HRM-Text in Actie: De Bewijskracht van de Resultaten
De onderzoekers bouwden een zeer compact HRM-Text-model met 1 miljard parameters. In plaats van de standaard meerfasen-pipeline die biljoenen woorden aan ruwe internettekst vereist, trainden ze het vanaf nul op een zorgvuldig samengestelde dataset van slechts 40 miljard tokens. De trainingsdata bestonden volledig uit instructie-antwoordparen over algemene instructies, wiskunde, symbolische logica, studieboekoefeningen en herschreven kennis. Ze trainden het model met het taakvoltooiingsdoel. Om het model te dwingen te vertrouwen op zijn interne hiërarchische architectuur in plaats van stap-voor-stap logica te kopiëren, verwijderden ze expliciet "denk" tokens uit de trainingsdata. De resultaten hiervan zijn indrukwekkend en ondersteunen de claim dat researchers say they trained a foundation model from scratch for about $1,500.
Het model werd geëvalueerd over een diverse suite van standaard fundamentele AI-benchmarks, met zware nadruk op kennis, redenering, logica, wiskunde en begrip. De onderzoekers testten HRM-Text tegen zowel kleine modellen als zeer goed uitgeruste open-weight en volledig open modellen. De resultaten tonen een significante verschuiving in de compute-to-performance grens. Het 1B-parameter HRM-Text behaalde 60,7% op MMLU, 84,5% op GSM8K en 56,2% op MATH. Deze prestatie is zeer concurrerend met (en in verschillende gevallen overtreft) de 2B tot 7B parameter foundation models waarmee het werd getest. Dit bewijst dat researchers say they trained a foundation model from scratch for about $1,500 geen loze belofte is, maar een meetbaar resultaat.
De belangrijkste conclusie voor het bedrijfsleven ligt in de efficiëntiestatistieken en praktische implicaties. Het voor-trainen van een fundamenteel model vanaf nul is typisch een miljoenen-dollar-onderneming, gereserveerd voor techgiganten. HRM-Text werd in slechts 1,9 dagen getraind op een cluster van 16 GPU's. De totale geschatte computekosten bedroegen ongeveer $1.500. Het behaalde zijn concurrerende scores met 100 tot 900 keer minder trainings tokens en 96 tot 432 keer minder geschatte compute dan modellen zoals Qwen, Gemma en Llama. Deze cijfers bevestigen de opmerkelijke efficiëntie, waardoor de bewering dat researchers say they trained a foundation model from scratch for about $1,500 geloofwaardig en baanbrekend is.
Een ander belangrijk punt is de ontkoppeling van redenering van kennis-memorisatie. Vanuit een praktisch oogpunt bewijst het succes van HRM-Text op redeneer-zware taken, ondanks zijn kleine trainingsdieet van 40 miljard tokens, dat een model niet het hele internet hoeft te memoriseren om een slimme redeneer-engine te worden. Voor bedrijfsapplicaties is dit gedrag een kenmerk, geen bug. De onderzoekers suggereren een toekomst waarin bedrijven zeer compacte, ongelooflijk goedkope recurrente modellen implementeren die fungeren als de "redeneerkern" gespecialiseerd voor bedrijfslogica. In plaats van het model te dwingen bedrijfsdatabases te memoriseren tijdens de voor-training, fungeert het model als de redeneer-engine, vertrouwend op externe ophaalsystemen om feitelijke kennis op te halen. Dit toont aan hoe researchers say they trained a foundation model from scratch for about $1,500 de potentie heeft om AI-strategieën volledig te herdefiniëren.
Critici hebben opgemerkt dat training op instructie-antwoordparen vergelijkingen met modellen die op ruwe tekst zijn getraind, een "appels-met-peren" scenario maakt. Wang weerlegt deze framing, erop wijzend dat elke serieuze moderne LLM instructie-antwoorddata ziet tijdens training of uitlijning. "Dus de vergelijking is geen appels met peren. Het is dichter bij appelkernen en appels. We begonnen direct vanuit het kern-taakformaat omdat dat is hoe mensen modellen daadwerkelijk gebruiken: ze geven een instructie en verwachten een nuttig antwoord," zei hij. De onderzoekers voerden ook strenge contaminatietests uit om ervoor te zorgen dat het model niet simpelweg benchmark-antwoorden memoreerde. Op DROP, de enige benchmark die een marginaal contaminatiesignaal vertoonde onder een specifieke instelling, scoorde HRM-Text nog steeds een indrukwekkende 81,1% op een strikt schone, 0% contaminatiesubset. Dit bevestigt de robuustheid van het model dat researchers say they trained a foundation model from scratch for about $1,500.
Uiteindelijk stelt Wang dat voor bedrijven "de juiste evaluatie geen trivia-herinnering is. Het is een workflow-evaluatie... Geef HRM-Text een taak zoals: meerstapswiskundige redenering, compliancelogica, wetenschappelijke workflow-automatisering, gestructureerde extractie gevolgd door redenering." De praktische toepassingen van een model dat researchers say they trained a foundation model from scratch for about $1,500 zijn dan ook enorm.
Praktische Implementatie en de Toekomst van Enterprise AI
Hoewel de benchmarkscores en kostenefficiënties opvallend zijn, is Sapient duidelijk over de huidige grenzen van het model. De initiële release moet worden gezien als een proof-of-concept, vergelijkbaar met vroege GPT-releases, ontworpen om de unieke voordelen van de architectuur te demonstreren. "Eerlijk gezegd is HRM-Text nog geen plug-and-play ChatGPT-vervanging," zei Wang. "Het is een compact fundamenteel taal-redeneermodel. Voor een engineeringteam van een bedrijf ligt het operationele werk voornamelijk rond templates, modusselectie, aandachtmaskering en uitlijning." Deze transparantie is belangrijk, zelfs voor een model waarbij researchers say they trained a foundation model from scratch for about $1,500.
Voor AI-engineeringteams die willen experimenteren, vereist het starten enige specifieke, maar standaard, tekstgeneratie discipline. Het model biedt native ondersteuning in de Transformers-bibliotheek (vereist transformers >= 5.9.0), en gebruikerstrajecten voor vLLM en SGLang worden actief ontwikkeld. De primaire engineeringtaak omvat het beheer van het PrefixLM-ontwerp: productie multi-turn chat-applicaties zullen zorgvuldige KV-cachelogica vereisen om ervoor te zorgen dat gebruikersprompts volledige bidirectionele aandacht krijgen, terwijl de outputs van de assistent causaal blijven. Het potentieel om je eigen AI-model te trainen voor slechts $1.500 is echter zo groot, dat de initiële technische horden snel overbrugd zullen worden.
"Wanneer de kosten voor het trainen van een capabel redeneermodel dalen tot ongeveer $1.500, houdt AI op een pure infrastructuurvraag te zijn en wordt het een strategische vraag," zei Wang. "Een Fortune 500-bedrijf hoeft zich niet langer af te vragen: 'Kunnen we een fundamenteel model betalen?' Het zou vragen: 'Wat moet ons model weten over ons bedrijf, en voor welk soort redenering moet het geoptimaliseerd worden?'" Dit is de ware impact van de innovatie waarbij researchers say they trained a foundation model from scratch for about $1,500, een toekomst waarin goedkope, krachtige AI de norm wordt voor elk bedrijf.
Veelgestelde Vragen over Betaalbare Fundamentele AI-Modellen
1. Wat maakt Sapient's HRM-Text zo kostenefficiënt, nu researchers say they trained a foundation model from scratch for about $1,500?
De kostenefficiëntie van HRM-Text komt voort uit een fundamentele architecturale innovatie. In plaats van de brute-force schaling en next-token voorspelling van traditionele Transformer-modellen, maakt HRM-Text gebruik van een Hiërarchisch Recurrent Model (HRM). Dit model ontkoppelt computationele processen in strategische en uitvoeringslagen, traint uitsluitend op instructie-antwoordparen en focust op taakvoltooiing in plaats van algemene memorisatie. Dit betekent veel minder benodigde trainingsdata (40 miljard tokens versus biljoenen) en aanzienlijk minder rekenkracht, wat resulteert in de lage geschatte kosten van $1.500 voor training.
2. Is HRM-Text een directe vervanging voor bestaande LLM's zoals ChatGPT?
Nee, Sapient's HRM-Text is in zijn huidige vorm nog geen directe plug-and-play vervanging voor algemene chatbots zoals ChatGPT. Het is ontworpen als een compact fundamenteel taal-redeneermodel, een proof-of-concept dat de unieke voordelen van de architectuur toont. Het is geoptimaliseerd voor taakspecifieke redenering en bedoeld als een "redeneerkern" die bedrijven kunnen aanpassen aan hun specifieke bedrijfslogica en kunnen koppelen aan externe kennisbronnen. De bewering dat researchers say they trained a foundation model from scratch for about $1,500 benadrukt de toegankelijkheid van het basismodel, niet zozeer de directe inzetbaarheid als kant-en-klare, algemene assistent.
3. Hoe kan een bedrijf profiteren van een model waarbij researchers say they trained a foundation model from scratch for about $1,500?
De mogelijkheid om een krachtig fundamenteel AI-model te trainen voor slechts $1.500 opent ongekende strategische mogelijkheden voor bedrijven. Ze kunnen nu hun eigen maatwerk AI-modellen ontwikkelen die geoptimaliseerd zijn voor hun unieke bedrijfsdata, processen en redeneerbehoeften, zonder de gigantische investering die voorheen vereist was. Dit stelt hen in staat om gevoelige, propriëtaire data in-house te houden, sneller te innoveren, en AI-oplossingen te creëren die perfect aansluiten bij hun specifieke workflows, van financiële redenering tot compliancelogica. Het verlegt de focus van "kunnen we AI betalen?" naar "hoe kunnen we AI optimaal inzetten voor onze specifieke bedrijfsdoelstellingen?".
Verrijk Uw Digitale Ervaring met Onze IPTV Abonnementen!
De toekomst van AI wordt steeds toegankelijker en betaalbaarder, en dat geldt ook voor entertainment. Heeft u ooit gedroomd van een uitgebreid aanbod aan films, series en live tv-zenders, allemaal binnen handbereik en zonder gedoe? Bij ons vindt u de perfecte oplossing! Net zoals innovatieve onderzoekers de toegang tot geavanceerde AI democratiseren, maken wij hoogwaardig entertainment bereikbaar voor iedereen. Vergeet de beperkingen van traditionele tv en dure streamingdiensten. Met onze voordelige en veelzijdige IPTV-abonnementen duikt u in een wereld van eindeloze content, of u nu een sportliefhebber bent, een filmliefhebber of gewoon wilt ontspannen met uw favoriete series. Profiteer van kristalheldere beeldkwaliteit, een intuïtieve interface en een breed scala aan zenders uit de hele wereld. Ontdek vandaag nog hoe eenvoudig het is om uw entertainmentervaring naar een hoger niveau te tillen.
Klaar om de ultieme entertainmentervaring te ontdekken? Aarzel niet langer!
Koop vandaag nog uw IPTV-abonnement en geniet direct van een ongeëvenaard aanbod.