Mitra Nvidia, pelanggan mendorong AI ke pusat data
Mitra Nvidia, pelanggan mendorong AI ke pusat data
MR JIM | Nvidia dan mitranya menyediakan alat dan infrastruktur untuk membangun dan menerapkan aplikasi AI yang menurut perusahaan dapat mengubah bisnis mereka. Nvidia telah memenangkan bisnis penyedia cloud terbesar dengan GPU yang kuat untuk menjalankan model dan layanan AI mereka. Kini perusahaan tersebut bergerak menuju hilir dengan perangkat yang luas dan mitra yang berfokus pada pusat data perusahaan.
Minggu ini, Nvidia GTC, konferensi pengembang tahunan perusahaan, menarik ribuan ilmuwan data serta insinyur listrik dan komputer yang berharap dapat mempelajari cara membuat, menerapkan, dan mengelola perangkat lunak unik untuk AI. Bergabung dengan para ahli teknologi adalah pelanggan dan mitra yang membuat kesepakatan dan mempromosikan industri yang menurut para analis akan mengubah bisnis.
Pusat data CPU saat ini yang mendukung server yang menjalankan perangkat lunak bisnis perlu menyediakan ruang bagi infrastruktur yang unik untuk model AI generatif . Penerapan dan pengoperasian model GenAI memerlukan seperangkat alat baru.
“Komputasi tujuan umum sudah kehabisan tenaga,” kata CEO Nvidia Jensen Huang dalam pidato pembukaannya di sini minggu ini. “Kita memerlukan cara lain dalam melakukan komputasi.”
Huang meluncurkan versi 5 platform AI Enterprise perusahaan dengan teknologi baru yang digambarkan oleh eksekutif sebagai layanan mikro inferensi Nvidia , atau NIM. Bersama-sama, gabungan perangkat lunak ini menyederhanakan proses pembuatan dan pengembangan aplikasi GenAI yang memanfaatkan platform komputasi paralel CUDA Nvidia dan model pemrograman untuk GPU perusahaan.
Analis memperkirakan banyak perusahaan akan menerapkan model bahasa kecil secara internal sehingga mereka dapat menyempurnakannya pada data perusahaan tanpa memindahkan informasi sensitif ke cloud publik. Selain itu, menjalankan model di pusat data terkadang lebih murah dibandingkan cloud.
Mitra Nvidia menargetkan perusahaan
NIM Nvidia sangat membantu karena menyederhanakan proses pemberian data dunia nyata secara rutin ke model terlatih sehingga dapat membuat respons terkini, sebuah proses yang disebut inferensi. Memiliki alat yang mengotomatiskan proses yang berkaitan dengan model berarti insinyur perangkat lunak tradisional dapat melakukan pekerjaan tersebut dibandingkan dengan ahli AI yang sulit ditemukan, kata Robin Bordoli, kepala pemasaran di Weights and Biases, pembuat platform pelatihan model AI.
Weights and Biases telah mengintegrasikan perangkat lunaknya dengan mesin inferensi Nvidia sehingga pengembang dapat melakukan pelatihan dan inferensi dari platform yang mendukung 30 model dasar . Saat ini, Weights and Biases memiliki 1.000 pelanggan, banyak di antaranya adalah lembaga pemerintah dan organisasi ilmu hayati, kata Bordoli.
“Kami membantu kelompok pelanggan berikutnya, perusahaan,” katanya. “Mereka tidak akan pernah membangun model dari awal, namun mereka ingin mengambil model yang sudah ada dan menyempurnakannya pada data perusahaan mereka.”
Nvidia telah membangun NIM untuk dijalankan sebagai sebuah container di Kubernetes, sebuah platform orkestrasi container open source yang familiar bagi perusahaan, kata Patrick McFadin, wakil presiden hubungan pengembang di DataStax, penyedia database vektor untuk aplikasi AI.
“Apa yang langsung saya perhatikan adalah penerapannya menggunakan Kubernetes,” kata McFadin. “Orang-orang yang menjalankan infrastruktur di perusahaan besar menggunakan Kubernetes, jadi mereka telah memanfaatkannya dengan sangat baik.”
Mitra Nvidia, Dell Technologies, menawarkan berbagai server PowerEdge dengan perangkat lunak dan GPU AI Enterprise Nvidia , H100 dan L40S.
“Apa yang kami lihat dari sebagian besar perusahaan adalah mengambil model yang sudah ada, apakah itu model besar atau model kecil, dan menggabungkannya dengan data perusahaan yang dimiliki,” kata Varun Chhabra, wakil presiden senior bidang infrastruktur dan pemasaran telekomunikasi. di Dell.
Dell yakin Retrieval Augmented Generation (RAG) sama pentingnya dengan pengambilan kesimpulan di dalam perusahaan. RAG adalah arsitektur yang menggabungkan sistem pengambilan informasi untuk mengamankan data pribadi.
“RAG adalah area fokus besar kami,” kata Chhabra.
Manfaat paling signifikan dari NIM Nvidia adalah mengemas banyak layanan mikro yang diperlukan untuk melakukan inferensi dalam satu wadah, kata Chhabra. “Ia melakukannya secara turnkey.”
Perangkat lunak AI dan akselerasi komputasi yang diperlukan untuk menjalankannya mengubah pusat data, kata Chhabra.
“Rasanya seperti kita berada pada titik perubahan,” katanya. "Pembangunan kembali pusat data secara menyeluruh akan segera dilakukan."
Pelanggan di Nvidia GTC
Pada konferensi tersebut, pelanggan Nvidia menjelaskan cara mereka bekerja dengan GenAI, semuanya pada tahap awal. Perusahaan-perusahaan tersebut termasuk LinkedIn, perusahaan periklanan global WPP, pembuat kosmetik L'Oreรกl dan ControlExpert, GmbH, pembuat perangkat lunak manajemen klaim Jerman.
WPP bermitra dengan Nvidia untuk mengembangkan mesin konten untuk membuat video, gambar 3D dan 2D produk klien menggunakan Nvidia Omniverse Cloud dan GenAI. Sistem ini juga menggunakan foto dari Getty Images dan teknologi pembuatan konten Adobe.
Kualitas seni periklanan bergantung pada data yang tersedia pada model AI yang menghasilkan karya tersebut, kata Chief Technology Officer WPP Stephan Pretorius.
“Kami menemukan bahwa dalam kasus di mana kami bekerja dengan klien yang memiliki definisi merek yang sangat jelas, cara yang sangat akurat untuk menggambarkan kepribadian merek, nada, suara, dan lain-lain, kami mendapatkan hasil yang jauh lebih baik dibandingkan ketika hal tersebut tersebar, " ujarnya saat presentasi.
Pada dasarnya, WPP menggunakan AI untuk meniru “proses pembuatan konten manusia,” kata Pretorius. “Tetapi dalam hal kompleksitas, skala, dan jumlah data yang harus kami kerjakan, Anda tidak dapat melaksanakan hal-hal seperti ini tanpa AI.”
Pretorius yakin komunikasi suara yang didukung AI dengan pengunjung situs web pada akhirnya akan menggantikan pendekatan berbasis konten saat ini
“Kami percaya masa depan konsumsi konten sebagian besar akan bersifat komunikatif,” katanya.
L'Oreรกl sedang menguji GenAI untuk menghasilkan gambar untuk storyboard dan Nvidia Omniverse untuk rendering 3D dari produk kemasan perusahaan. Ia juga menggunakan beberapa model AI.
Perusahaan ini memberi modelnya ribuan gambar merek, serta warna latar belakang, berbagai jenis pencahayaan, dan pengaturan seperti matahari terbenam Paris yang elegan. Pembuat iklan dapat menggunakan bahasa alami agar model dapat membuat gambar guna merangsang ide untuk memasarkan 37 merek globalnya.
Sistem ini dapat membantu dalam membayangkan skenario seperti salon kecantikan masa depan atau iklan yang menggunakan fenomena luar angkasa seperti Nebula Merah.
“Ada interpretasi ulang terhadap data yang terjadi,” Asmita Dubey, chief digital and marketing officer di L'Orรฉal, mengatakan tentang GenAI dalam sebuah wawancara. “Dan itu adalah kecepatan [penciptaan]. Ia bisa melakukannya lebih cepat.
Selama enam bulan terakhir, L'Orรฉal telah bekerja sama dengan Nvidia Omniverse dan WPP untuk membuat model 3D khusus untuk produknya sehingga dapat mengubah latar belakang, warna, dan bayangan tanpa harus menghabiskan waktu berhari-hari di studio bersama fotografer. L'Orรฉal hanya membutuhkan satu sesi studio untuk menangkap seluruh sudut kemasan produk.
Perusahaan yakin dapat menghemat waktu dan uang, namun masih dalam tahap awal penggunaan Omniverse.
Dalam diskusi panel di konferensi tersebut, Sabry Tozin, wakil presiden teknik di LinkedIn, mengatakan perusahaannya menggunakan AI untuk terjemahan bahasa. Hal ini memungkinkan perwakilan layanan pelanggan di Omaha, Nebraska, untuk berbicara dengan pelanggan dalam bahasa Spanyol, Prancis, atau Jerman tanpa mengetahui bahasa tersebut.
“Hal ini memungkinkan kami lakukan adalah mempertahankan perwakilan yang sangat baik dalam memahami produk kami dan memberikan jawaban mendalam kepada pelanggan kami,” kata Tozin.
Perangkat lunak ControlExpert memungkinkan perusahaan asuransi meminta pelanggan mengambil gambar kerusakan mobil setelah kecelakaan dan mengirimkan gambar tersebut ke vendor melalui aplikasi seluler.
Model AI menganalisis gambar, menilai kerusakan dan mengembalikan perkiraan biaya perbaikan dan daftar bengkel mobil yang disetujui. Pelanggan ConrolExpert mencakup 90% dari seluruh perusahaan asuransi, menurut perusahaan.
Perusahaan melatih modelnya berdasarkan data yang dikumpulkan selama 20 tahun. Perusahaan ini memproses 20 juta klaim per tahun, menurut Sebastian Schoenen, direktur inovasi dan teknologi perusahaan.
Perubahan desain model mobil terjadi secara berkala, dan harga perbaikan juga berfluktuasi, sehingga ControlExpert terus memperbarui modelnya. Meski demikian, masih ada sebagian kecil kasus yang memerlukan campur tangan manusia.
“Jika kami melihat model kami tidak mampu melakukan sesuatu, kami mengarahkan klaim tersebut ke manusia,” kata Schoenen.c
