Inside LinkedIn’s generative AI cookbook: Hoe het mensen zoeken opschaalde naar 1.3 miljard gebruikers
LinkedIn heeft deze week zijn nieuwe AI-aangedreven mensen zoekfunctie gelanceerd, na een ogenschijnlijk lange wachttijd voor wat een natuurlijke toepassing had moeten zijn voor generatieve AI. Deze belangrijke stap, een volle drie jaar na de lancering van ChatGPT en zes maanden na de introductie van LinkedIn’s AI-gestuurde vacature zoekfunctie, biedt cruciale inzichten. Voor technische leiders illustreert deze tijdslijn een fundamentele les in enterprise-omgevingen: het implementeren van generatieve AI in realistische bedrijfssettings is uitdagend, vooral op een schaal van 1.3 miljard gebruikers. Het is een langzaam en intensief proces van pragmatische optimalisatie. Dit verslag, dat diepgaand ingaat op Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users, is gebaseerd op exclusieve interviews met het product- en engineeringteam van LinkedIn dat achter deze lancering staat. De methodologie en de technische uitdagingen die zijn overwonnen, vormen een waardevolle leidraad voor elke organisatie die generatieve AI op grote schaal wil toepassen.
Van Sleutelwoorden naar Semantiek: Hoe de Nieuwe Zoekfunctie Werkt
De nieuwe AI-aangedreven zoekfunctie van LinkedIn transformeert de manier waarop gebruikers expertise en verbindingen vinden. Voorheen, met de oude, op trefwoorden gebaseerde zoekmachine, zou een zoekopdracht als "Wie is deskundig in het genezen van kanker?" waarschijnlijk vastlopen. Het systeem zou enkel zoeken naar exacte vermeldingen van "kanker". Om een complexer resultaat te krijgen, moest een gebruiker handmatig afzonderlijke, rigide trefwoord-zoekopdrachten uitvoeren voor "kanker" en vervolgens "oncologie", en de resultaten moeizaam samenvoegen. Dit proces was tijdrovend en vaak onvolledig.
Het nieuwe, AI-gestuurde systeem begrijpt echter de intentie van de zoekopdracht, omdat het onderliggende Large Language Model (LLM) de semantische betekenis doorgrondt. Het herkent bijvoorbeeld dat "kanker" conceptueel gerelateerd is aan "oncologie" en zelfs, minder direct, aan "genomisch onderzoek". Als gevolg hiervan levert het een veel relevantere lijst van personen op, waaronder leiders en onderzoekers op het gebied van oncologie, zelfs als hun profielen niet het exacte woord "kanker" gebruiken. Deze semantische sprong is een gamechanger, omdat het gebruikers in staat stelt om op een veel natuurlijkere en intuïtievere manier te zoeken, wat resulteert in nauwkeurigere en nuttigere uitkomsten.
Bovendien balanceert het systeem deze relevantie met bruikbaarheid. In plaats van simpelweg de top oncoloog ter wereld te tonen (die mogelijk een onbereikbare derdegraads connectie is), weegt het systeem ook mee wie in je directe netwerk – zoals een eerstegraads connectie – "vrij relevant" is en als een cruciale brug kan dienen naar die expert. Deze slimme afweging tussen expertise en netwerktoegankelijkheid maakt de zoekresultaten niet alleen informatief, maar ook direct actionable. Dit is een sleutelfactor in de benadering die wordt beschreven in Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users.
De Kern van Inside LinkedIn’s generative AI cookbook: Hoe LinkedIn AI op Schaal Bracht
De ware waarde voor ondernemingen ligt in de methodologie die LinkedIn heeft ontwikkeld: een reproduceerbare, meerfasige pijplijn van destillatie, co-design en meedogenloze optimalisatie. Dit is de essentie van Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users. LinkedIn moest dit proces op één product perfectioneren voordat het op een ander werd toegepast. Zoals Wenjing Zhang, VP Engineering bij LinkedIn, opmerkt in een post over de productlancering en in een interview met VentureBeat, is het cruciaal om niet te veel in één keer te proberen te doen. Een eerdere "uitgestrekte ambitie" om een uniform systeem te bouwen voor alle LinkedIn-producten "stagneerde de voortgang."
In plaats daarvan concentreerde LinkedIn zich op het eerst winnen van één verticale. Het succes van de eerder gelanceerde AI Job Search – die ertoe leidde dat werkzoekenden zonder vierjarige opleiding 10% meer kans hadden om aangenomen te worden, volgens VP Product Engineering Erran Berger – bood het blauwdruk. Deze generatieve AI-strategie bewees dat een gerichte aanpak, waarbij de focus lag op een specifiek probleemgebied, de sleutel was tot het creëren van een robuust en effectief AI-systeem. Dit succesverhaal diende als de basis voor het uitbreiden van hun AI-capaciteiten naar andere domeinen binnen het platform.
Het Inside LinkedIn’s generative AI cookbook voor Data en Modellen
Nu past het bedrijf die blauwdruk toe op een veel grotere uitdaging. "Het is één ding om dit te kunnen doen voor tientallen miljoenen banen," vertelde Berger aan VentureBeat. "Het is een heel ander ding om dit te doen voor meer dan een miljard leden." Deze schaalvergroting bracht nieuwe en complexe technische problemen met zich mee. Het baanzoekproduct creëerde een robuust recept waar het nieuwe mensenzoekproduct op kon voortbouwen, legde Berger uit. Het recept begon met een "gouden dataset" van slechts enkele honderden tot duizend echte query-profielparen, zorgvuldig gescoord aan de hand van een gedetailleerd 20- tot 30 pagina's tellend "productbeleidsdocument". Om dit op te schalen voor training, gebruikte LinkedIn deze kleine gouden set om een groot fundatiemodel te stimuleren om een enorme hoeveelheid synthetische trainingsdata te genereren. Deze synthetische data werd gebruikt om een 7-miljard-parameter "Productbeleidsmodel" te trainen – een zeer accurate beoordelaar van relevantie die te langzaam was voor live productie, maar perfect voor het onderwijzen van kleinere modellen, een essentieel onderdeel van Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users.
Het team stuitte echter al vroeg op een obstakel. Gedurende zes tot negen maanden worstelden ze om een enkel model te trainen dat strikte beleidsnaleving (relevantie) kon balanceren met gebruikersbetrokkenheidssignalen. Het "aha-moment" kwam toen ze zich realiseerden dat ze het probleem moesten opsplitsen. Ze destilleerden het 7B beleidsmodel tot een 1.7B leraarmodel dat uitsluitend gericht was op relevantie. Dit model werd vervolgens gekoppeld aan afzonderlijke leraarmodellen die waren getraind om specifieke gebruikersacties te voorspellen, zoals sollicitaties voor het banenproduct, of verbinden en volgen voor mensen zoeken. Dit "multi-teacher" ensemble produceerde zachte waarschijnlijkheidsscores die het uiteindelijke studentmodel leerde nabootsen via KL divergentie verlies. Deze architecturale beslissing was een cruciale stap in de ontwikkeling van de schaalbare AI-oplossingen van LinkedIn.
Architecturale Doorbraken voor Massa-Schaalbaarheid
De resulterende architectuur functioneert als een tweetraps pijplijn. Eerst handelt een groter 8B-parameter model brede retrieval af, waarbij een wijd net wordt uitgeworpen om kandidaten uit de grafiek te trekken. Vervolgens neemt het sterk gedestilleerde studentmodel het over voor een fijnmazige ranking. Terwijl het baanzoekproduct met succes een 0.6B (600-miljoen) parameter student implementeerde, vereiste het nieuwe mensenzoekproduct nog agressievere compressie. Zoals Zhang opmerkt, snoeide het team hun nieuwe studentmodel van 440M terug naar slechts 220M parameters, waarmee de benodigde snelheid voor 1.3 miljard gebruikers werd bereikt met minder dan 1% relevantieverlies. Dit illustreert de constante drang naar optimalisatie die centraal staat in Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users.
Het toepassen van deze aanpak op mensen zoeken brak echter de oude architectuur. Het nieuwe probleem omvatte niet alleen ranking, maar ook retrieval. "Een miljard records," zei Berger, is een "ander beest." De eerdere retrieval-stack van het team was gebouwd op CPU's. Om de nieuwe schaal en de latency-eisen van een "snelle" zoekervaring aan te kunnen, moest het team de indexering verplaatsen naar GPU-gebaseerde infrastructuur. Dit was een fundamentele architectonische verschuiving die het baanzoekproduct niet nodig had. Organisatieel profiteerde LinkedIn van meerdere benaderingen. Een tijd lang had LinkedIn twee afzonderlijke teams – baan zoeken en mensen zoeken – die probeerden het probleem parallel op te lossen. Maar zodra het baanzoekteam zijn doorbraak behaalde met behulp van de beleidsgestuurde destillatiemethode, grepen Berger en zijn leiderschapsteam in. Ze haalden de architecten van de baanzoekwinst – productleider Rohan Rajiv en engineeringleider Wenjing Zhang – over om hun 'kookboek' direct over te planten naar het nieuwe domein. Dit collaboratieve model is een sleutelfactor in het succes van LinkedIn's generatieve AI-oplossingen.
Distillatie en Optimalisatie: De Motor Achter 10x Doorvoer
Met het retrieval-probleem opgelost, stond het team voor de uitdaging van ranking en efficiëntie. Hier werd het 'kookboek' aangepast met nieuwe, agressieve optimalisatietechnieken. Zhang's technische post, die binnenkort live gaat, zal de specifieke details bieden die AI-ingenieurs zullen waarderen. Een van de belangrijkste optimalisaties was de inputgrootte. Om het model te voeden, trainde het team nog een LLM met reinforcement learning (RL) voor één enkel doel: de invoercontext samenvatten. Dit "summarizer"-model was in staat om de invoergrootte van het model met 20-voudig te verminderen met minimaal informatieverlies.
Het gecombineerde resultaat van het 220M-parameter model en de 20x inputreductie? Een 10x toename in rankingdoorvoer, waardoor het team het model efficiënt kon bedienen aan zijn enorme gebruikersbestand. Deze indrukwekkende verbetering in efficiëntie is een direct gevolg van de methoden beschreven in Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users. De constante zoektocht naar efficiëntie, zelfs na het bereiken van een werkend model, toont de diepgang van hun technische aanpak en de toewijding aan het optimaliseren van elke fase van de AI-pijplijn.
Pragmatisme Boven Hype: Tools Bouwen, Geen Agenten – Een Filosofie uit Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users
Gedurende onze gesprekken benadrukte Berger iets anders dat de aandacht kan trekken: de echte waarde voor bedrijven ligt vandaag de dag in het perfectioneren van recommender-systemen, niet in het najagen van "agentic hype." Hij weigerde ook te praten over de specifieke modellen die het bedrijf gebruikte voor de zoekopdrachten, suggererend dat het bijna niet uitmaakt. Het bedrijf selecteert modellen op basis van welke het meest efficiënt is voor de taak. Dit toont een pragmatische benadering van AI-ontwikkeling, waarbij de focus ligt op meetbare resultaten en operationele efficiëntie, in plaats van op de nieuwste buzzwoorden.
De nieuwe AI-aangedreven mensenzoekfunctie is een manifestatie van Bergers filosofie dat het het beste is om eerst het recommender-systeem te optimaliseren. De architectuur omvat een nieuwe "intelligente query routing laag," zoals Berger uitlegde, die zelf LLM-aangedreven is. Deze router beslist pragmatisch of de query van een gebruiker – zoals "vertrouwensexpert" – naar de nieuwe semantische, natuurlijke taalstack moet gaan of naar de oude, betrouwbare lexicale zoekmachine. Dit hele, complexe systeem is ontworpen als een "tool" die een toekomstige agent zal gebruiken, niet de agent zelf.
"Agentic producten zijn alleen zo goed als de tools die ze gebruiken om taken voor mensen uit te voeren," zei Berger. "Je kunt het beste redeneermodel ter wereld hebben, en als je probeert een agent te gebruiken om mensen te zoeken, maar de mensenzoekmachine is niet erg goed, dan kun je niet leveren." Nu de mensenzoekfunctie beschikbaar is, suggereerde Berger dat het bedrijf op een dag agenten zal aanbieden om deze te gebruiken. Maar hij gaf geen details over de timing. Hij zei ook dat het recept dat is gebruikt voor banen en mensen zoeken, zal worden verspreid over de andere producten van het bedrijf. Dit bewijst de schaalbaarheid en reproduceerbaarheid van Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users.
De Zakelijke Lessen uit Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users
Voor ondernemingen die hun eigen AI-roadmaps opstellen, is het playbook van LinkedIn duidelijk. De ervaringen en successen die zijn opgedaan met het opschalen van de mensenzoekfunctie naar 1.3 miljard gebruikers, bieden een gestructureerde aanpak die kan worden toegepast op diverse bedrijfsuitdagingen. De diepgaande lessen uit Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users zijn van onschatbare waarde voor iedereen die ambitieuze AI-projecten wil realiseren.
- Wees pragmatisch: Probeer niet de hele oceaan leeg te koken. Win één verticale, zelfs als het 18 maanden duurt. Een gerichte aanpak leidt tot concrete resultaten en levert de nodige ervaring op om grotere projecten aan te pakken. Dit voorkomt dat middelen worden verspild aan te brede initiatieven.
- Codificeer het "kookboek": Transformeer die overwinning in een herhaalbaar proces (beleidsdocumenten, destillatiepijplijnen, co-design). Het creëren van een gestandaardiseerde methodologie zorgt ervoor dat successen niet eenmalig zijn, maar kunnen worden gedupliceerd en aangepast voor andere producten en diensten. Dit is de kern van LinkedIn's AI-doorbraak.
- Optimaliseer meedogenloos: De echte 10x winsten komen na het initiële model, in pruning, destillatie en creatieve optimalisaties zoals een RL-getrainde summarizer. De initiële implementatie is slechts het begin; continue verfijning en efficiëntieverbeteringen zijn essentieel voor duurzame prestaties op schaal.
De reis van LinkedIn toont aan dat voor echte enterprise AI, de nadruk op specifieke modellen of coole agentic-systemen op de achtergrond moet treden. Het duurzame, strategische voordeel komt van het beheersen van de pijplijn — het 'AI-native' kookboek van co-design, destillatie en meedogenloze optimalisatie. Dit is de ware kracht van Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users.
Veelgestelde Vragen over Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users
V1: Wat is het meest cruciale aspect van Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users?
A1: Het meest cruciale aspect is de "kookboek"-methode, een gestructureerde aanpak van destillatie, co-design en meedogenloze optimalisatie. Dit stelde LinkedIn in staat om de complexiteit van generatieve AI-implementatie op te splitsen en succesvol op te schalen van één product (job search) naar een veel grotere uitdaging (people search voor 1.3 miljard gebruikers).
V2: Hoe heeft LinkedIn de efficiëntie van hun AI-gestuurde zoekmachine verbeterd, zoals beschreven in Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users?
A2: LinkedIn behaalde aanzienlijke efficiëntieverbeteringen door agressieve modelcompressie – van 440 miljoen naar 220 miljoen parameters – en door een RL-getraind summarizer-model te gebruiken om de inputgrootte met 20-voudig te verminderen. Deze combinatie resulteerde in een 10x toename in rankingdoorvoer, cruciaal voor het bedienen van een massaal gebruikersbestand.
V3: Welke belangrijke lessen voor andere bedrijven kunnen worden getrokken uit Inside LinkedIn’s generative AI cookbook: How it scaled people search to 1.3 billion users?
A3: Drie belangrijke lessen zijn: wees pragmatisch door eerst één verticale te winnen, codificeer het succes in een herhaalbaar "kookboek" (beleidsdocumenten, pijplijnen), en optimaliseer meedogenloos na de initiële modelimplementatie. De focus moet liggen op de pijplijn en de implementatiestrategie, niet alleen op de technologie zelf.
Verrijk Uw Digitale Ervaring: Ontdek Onze IPTV-Abonnementen!
Heeft de innovatie van LinkedIn u geïnspireerd op het gebied van geavanceerde technologie en efficiëntie? Wij nodigen u uit om een vergelijkbare sprong voorwaarts te maken in uw entertainmentervaring. Bij ons vindt u een breed scala aan IPTV-abonnementen die naadloos aansluiten bij uw wensen voor kwaliteit, keuze en gebruiksgemak. Geniet van duizenden kanalen, films en series in haarscherpe kwaliteit, rechtstreeks op al uw favoriete apparaten. Stap vandaag nog over op de toekomst van televisie en ervaar ongekend kijkplezier. Wacht niet langer en transformeer uw entertainment. Ontdek onze IPTV-abonnementen en koop IPTV hier!