Al enige tijd is de AI revolutie in volle gang. Organisaties met sterke innovatiekrachten transformeren hun bedrijfsprocessen met behulp van Artificial Intelligence (AI) of Machine Learning (ML). Deze toepassingen bieden hen belangrijke inzichten en zodoende sterke concurrentievoordelen.
De impact van AI en ML is groot. Er zijn veel toepassingen mogelijk waaronder taalmodellen (LLM) zoals GPT4 van OpenAI, Llama van Meta en Gemini van Google. Zo kent u inmiddels ook de animatie en virtual reality simulatiemogelijkheden. De groei in mogelijkheden en de complexiteit van toepassingen vragen veel data- en rekencapaciteit van een infrastructuur. Dit zet organisaties voor nieuwe uitdagingen voor hun infrastructuur.
Uitdagingen voor uw datacenter infrastructuur
Een van de grootste uitdagingen voor organisaties die willen profiteren van de groei van AI is het opzetten van de juiste oplossingen voor opslag en computing. Met name door de noodzaak van krachtige CPU's, GPU's en databaseclusters, gelet op de het verlagen van de Total Cost of Ownership van het datacenter.
Net zo belangrijk is het beschermen van eigen data en intellectueel eigendom. Wanneer u een private AI omgeving neerzet is het eenvoudiger deze in uw datacenter infrastructuur te beveiligen. Dan hebben we het nog niet gehad over de keuzes, de kosten, de performance en compliancy. Hiervoor is een platform gelanceerd waarin een volledig ecosysteem beschikbaar is om AI modellen in te zetten en te trainen in uw eigen datacenter: Maak kennis met VMware Private AI Foundation.
VMware Private AI Foundation
In augustus 2023 lanceerde NVIDIA en VMware het Private AI Foundation op VMware Explore Las Vegas. Ook werkt VMware samen met Intel en IBM voor een soortgelijk platform. Zo zorgt VMware dat organisaties diverse mogelijkheden hebben om kunstmatige intelligentie binnen hun eigen datacenterinfrastructuur toe te kunnen passen.
Heeft u een on-premises datacenter? Samen met de managementlaag VMware Cloud Foundation is uw organisatie in staat om getrainde AI modellen te draaien. Zo maakt u generative AI toepasbaar in uw moderne datacenter.
Ecosysteem met voordelen
De opzet van dit ecosysteem brengt voordelen voor organisaties:
1. Flexibiliteit in keuze software
Bepaal zelf de AI software voor je omgeving met keuze uit NVIDIA AI Enterprise, open-source software, of een andere onafhankelijke software leverancier.
2. Toegankelijke implementatiemogelijkheden
VMware Private AI biedt integratie van AI oplossingen door partnerships met o.a. NVIDIA, Intel en IBM.
3. Uitstekende performance
Het platform ondersteunt NVIDIA GPU technologie. Door deze GPUs samen te voegen in de virtualisatielaag hebben AI workloads een goede performance. Use cases tonen aan dat de performance van AI workloads op deze manier nog beter zijn als op bare-metal hardware.
4. Verbeterde productiviteit
Terugkerende taken automatiseren wordt makkelijker en verhoogt de productiviteit. Nieuwe mogelijkheden ontstaan voor organisatie, zoals het kunnen bouwen van privé chatbots.
Deepdive VMware Private AI Foundation met NVIDIA
De VMware Private AI oplossing in samenwerking met NVIDIA bestaat uit twee delen; de VMware Cloud Foundation (VCF) oplossing en de NVIDIA AI Enterprise software die daar bovenop draait.
De NVIDIA AI Enterprise software faciliteert het aanspreken van de GPUs in de onderliggende virtualisatielaag. Dit gebeurt met behulp van o.a. het CUDA software framework en de juiste vGPU driver. Deze software faciliteert LLMs en overige AI modellen binnen een on-premises datacenteroplossing, zoals VCF.
Een ander belangrijk onderdeel is de NVIDIA NIM. Deze versnelt de implementatietijd aanzienlijk. Het zorgt voor de interferentie met microservices waar het hele softwareframework van NVIDIA op een cloud native manier ingebouwd zit. Software die hierin verwerkt zit betreft o.a. Pytorch, Triton Inference Server, TensorRT en TensorRT-LLM. Uiteraard draait er ook een Kuberneteslaag met NVIDIA CUDA binnen de NVIDIA NIM. Behalve CUDA komt de software uit de open-source wereld en is onderdeel van de totale NVIDIA AI Enterprise oplossing.
De NVIDIA GPU Operator is een onderdeel van de NVIDIA AI software stack die het lifecycle management van AI applicaties automatisch regelt. Ook zorgt het dat deze applicaties gebruik kunnen maken van GPU’s zonder dat er een Kubernetes infrastructuur beheerd moet worden.
De NVIDIA RAG LLM Operator zorgt voor het snel uitrollen
van AI workflows. Daarnaast zijn vector databases een belangrijke
afhankelijkheid om RAG (Retrieval-Augmented Generation) workloads uit te rollen.
RAG workflows kunnen sneller data benaderen en real-time updates doen door het
gebruik van vector databases. De output van LLMs wordt sneller en verminderd
het opnieuw trainen van LLM’s wat ook tijd bespaard.
VMware biedt voor het uitrollen van PostgreSQL databases een nieuw product
genaamd VMware Data Services Manager (DSM). Dit is een Database-as-a-Service
(DBaaS) oplossing van VMware die deel uitmaakt van de VMware Cloud Foundation
licentie. Vector databases kunnen met pgvector in PostgreSQL worden
ingeschakeld.
Integraties met Aria Automation en nieuwe functionaliteiten
VMware Private AI Foundation met NVIDIA is sinds mei ‘24 general available als add-on bovenop de VCF subsciption. Daarnaast is het zelfs mogelijk om Deep Learning VMs vanuit Aria Automation via self-service uit te rollen. Hiervoor moet de onderliggende hardware wel beschikken over de juiste GPU’s en software-afhankelijkheden waaronder:
- vGPU Driver
- CUDA
- PyTorch
- DCGM Exporter
- TensorFlow
- Triton Inference Server
- NVIDIA RAG
Dit zijn de bekende bouwblokken om VMware Private AI Foundation met NVIDIA te kunnen implementeren. Een Deep Learning Virtual Machine kan zowel rechtstreeks als VM op vSphere uitgerold worden of als container binnen een Tanzu Kubernetes Grid (TKG) cluster. Voor deze laatste keuze maakt u gebruik van vSphere with Tanzu, dat ook een onderdeel is van VCF. Beide opties staan beschikbaar in de Service Broker van Aria Automation.
