reklamı kapat

POPÜLER

Google TurboQuant

Google, yeni sıkıştırma algoritması TurboQuant ile büyük dil modellerinin (LLM) bellek kullanımını 6 kat azaltabiliyor

Google’ın resmi olarak “TurboQuant” adını verdiği yeni yapay zeka odaklı sıkıştırma algoritması, büyük dil modellerinin (LLM) bellek kullanımını 6 kat azaltabiliyor. Ses getiren çalışması için yaptığı açıklamada, “Yeni sıkıştırma algoritmamız yapay zeka verimliliğini yeniden tanımlıyor. Büyük dil modellerinin (LLM) anahtar-değer (KV) önbellek bellek kullanımını en az 6 kat azaltan bu teknoloji, doğruluktan ödün vermeden 8 kata kadar hız artışı sağlıyor.” ifadelerini kullanan şirket, algoritmanın yapay zeka işlemlerindeki önbellek darboğazlarını gidermek adına vektör kuantizasyonu kullandığını belirtiyor. Bu yöntem yapay zekanın daha az alan kaplayarak ve doğruluğu koruyarak daha fazla bilgi hatırlamasına olanak tanıyor. Yeni algoritma, birçok kişinin aklına doğrudan HBO’nun çok sevilen “Silicon Valley” dizisini ve dizinin merkezinde yer alan girişim Pied Piper’ı getirdi. Pied Piper’ın televizyon dizisindeki çığır açan teknolojisi, neredeyse kayıpsız sıkıştırma ile dosya boyutlarını önemli ölçüde azaltan bir sıkıştırma algoritmasıydı.

İLGİNİZİ ÇEKEBİLİR