Perplexity Bakal Open Source Lily, Engine AI Lokal yang Lebih Cepat dari MLX

Perplexity mau buka source engine inference lokal buat Apple Silicon. Klaimnya 23 persen lebih cepat di prompt processing dan 35 persen di token generation dibanding MLX-LM.

[Open Source][AI]

Gue baru nemu kabar yang bikin makin seru ngikutin perkembangan AI lokal. Perplexity siap ngerilis engine inference yang namanya Lily sebagai open source. Engine ini didesain khusus buat jalan di Apple Silicon, bukan sekadar port dari framework umum.

Yang bikin menarik, klaim performanya lumayan bikin melongo. Kata Perplexity, Lily bisa ngalahin pendekatan mainstream di beberapa metrik penting.

Apa itu Lily

Lily itu engine lokal yang dibangun buat ngejalanin model Qwen3.6-35B-A3B langsung di perangkat. Di bagian paling dalem, runtime-nya ditulis pake Rust dan ngandelin custom Metal kernels. Yang perlu lo tau, di jalur eksekusinya nggak ada PyTorch atau MLX sama sekali.

Klaim kecepatannya

Perplexity ngasih angka perbandingan dengan MLX-LM di MacBook Pro M5 Max 128GB. Rata-rata 23 persen lebih cepat buat prompt processing, dan 35 persen lebih cepat buat token generation. Tapi inget, ini masih hasil pengujian internal karena kode Lily belum dibuka.

Perplexity belum kasih tanggal pasti kapan kode Lily dirilis. Tapi arah buka source ini patut ditunggu. Kalau performanya sesuai klaim, Mac bisa makin jadi playground yang nyaman buat eksperimen AI lokal.

Sumber: Perplexity Will Open Source Its Faster Lily AI Engine For Apple Silicon