Google Cloud meluncurkan tensor processing unit atau TPU generasi kedelapan untuk menjawab kebutuhan pelatihan model AI yang makin besar dan mahal. Perusahaan mengklaim cip ini dapat membuat proses training berlangsung hingga tiga kali lebih cepat dibanding generasi sebelumnya, sambil menekan biaya operasional.
Peluncuran ini juga menandai pemisahan lini TPU kustom Google menjadi dua fokus utama, yakni TPU 8t untuk pelatihan dan TPU 8i untuk inferensi. Pembagian tersebut ditujukan agar pelanggan cloud bisa memilih sumber daya komputasi yang lebih sesuai dengan tahap kerja AI yang sedang dijalankan.
Efisiensi Jadi Poin Utama
Google menyebut TPU generasi kedelapan dirancang untuk memberi daya komputasi yang lebih besar dengan konsumsi energi yang lebih rendah. Di tengah lonjakan kebutuhan infrastruktur AI, efisiensi seperti ini menjadi krusial bagi perusahaan yang ingin menjaga pengeluaran tetap terkendali.
Selain menjanjikan percepatan training, Google Cloud juga mengklaim efisiensi kinerja per dolar pada TPU terbaru ini meningkat 80% dibanding versi sebelumnya. Artinya, pelanggan berpotensi memperoleh performa lebih tinggi tanpa kenaikan biaya yang sebanding.
Kapasitas skala besar juga ikut diperkuat. Google Cloud menyebut satu klaster kini dapat menjalankan lebih dari satu juta unit TPU secara bersamaan, yang membuka ruang bagi pengembangan frontier model dalam skala yang jauh lebih besar.
TPU 8t dan TPU 8i Punya Fungsi Berbeda
TPU 8t diposisikan untuk beban kerja training dalam pod berukuran besar. Varian ini menyasar proses pengembangan model yang biasanya memerlukan waktu panjang dan sumber daya komputasi yang sangat besar.
Sementara itu, TPU 8i diarahkan untuk inferensi, yaitu tahap ketika model merespons prompt atau dipakai pengguna. Google menempatkan varian ini sebagai opsi yang lebih hemat daya dan lebih efisien untuk distribusi model di lingkungan produksi.
Dari sisi teknis, TPU 8i membawa penyempurnaan dukungan sparsity dan unit perkalian matriks yang dioptimalkan untuk pola inferensi transformator. Cip ini juga mendukung format presisi INT8 dan FP8 yang banyak digunakan dalam penerapan AI skala industri.
Strategi Google Masih Melibatkan Nvidia
Google Cloud menegaskan bahwa TPU bukan pengganti Nvidia, melainkan pelengkap untuk infrastruktur berbasis Nvidia yang juga tersedia di cloud miliknya. Pendekatan ini memperlihatkan strategi ganda Google, yaitu memperkuat hardware internal sekaligus tetap membuka akses ke teknologi pihak ketiga.
Perusahaan juga menyampaikan bahwa cip Nvidia terbaru, Vera Rubin, akan tersedia pada akhir tahun ini. Pernyataan itu menunjukkan bahwa Google masih menempatkan Nvidia sebagai bagian penting dari ekosistem cloud-nya.
Analis pasar cip Patrick Moorhead menyoroti bahwa dominasi Nvidia masih sangat kuat, dengan kapitalisasi pasar yang disebut mendekati Rp86.500 triliun. Ia juga menilai kehadiran cip AI buatan Google, Amazon, dan Microsoft tidak otomatis mengurangi kebutuhan pasar terhadap Nvidia.
Persaingan Infrastruktur AI Makin Ketat
Peluncuran TPU generasi kedelapan memperlihatkan bagaimana Google Cloud berupaya memperkuat posisinya di pasar infrastruktur AI global. Dengan pemisahan fungsi training dan inferensi, pelanggan mendapat fleksibilitas lebih besar untuk menyesuaikan biaya dengan beban kerja masing-masing.
Google juga tetap menjaga hubungan teknis dengan Nvidia melalui kerja sama rekayasa jaringan komputer. Kolaborasi ini ditujukan agar sistem berbasis Nvidia bisa berjalan lebih efisien di lingkungan Google Cloud.
Kedua perusahaan turut mengembangkan teknologi jaringan berbasis perangkat lunak bernama Falcon, yang pertama kali dirilis Google secara open source pada 2023 lewat Open Compute Project. Di tengah meningkatnya permintaan komputasi AI, penguatan sisi cip, jaringan, dan integrasi sistem pusat data menjadi faktor penting yang menentukan daya saing layanan cloud.
