Çiplerde kullanılan temel mimari, ARMv9.2 teknolojisini temel alıyor ve toplamda 12 çekirdekli işlemci ile donatılmış. Bu yapı, yapay zeka işlemlerini hızlandırmak ve optimize etmek amacıyla özel olarak tasarlanmış heterojen mimarisi sayesinde, toplamda 190 TOPS hesaplama gücü sunuyor. Tasarım ekibi, sadece yüksek performanslı cihazlar geliştirmek değil, aynı zamanda maliyetleri düşük tutarak açık kaynak modellerini yerel ortamda çalıştırmayı hedefliyor.
Yüksek fiyatlı çözümler arasında Nvidia DGX Spark gibi modeller yer almakla birlikte, bu cihazlar genellikle 4.000 dolar seviyelerinde fiyatlandırılıyor. Tiiny AI cihazı ise, sağladığı güçlü performansla birlikte, uygun maliyetle erişilebilirliği öne çıkarıyor. Bu cihazda kullanılan 80 GB LPDDR5X RAM ve 1 TB SSD depolama alanı, büyük yapay zeka modellerinin yüksek performansla çalışmasına olanak tanıyor. Bu teknolojiler, kuantizasyon yöntemleri sayesinde geniş modellerin etkin kullanımını destekliyor. Ayrıca cihazın tamamen internetsiz ve izole bir ortamda tamamen bağımsız çalışabilmesi, çok sayıda açık kaynaklı LLM ve ajan framework’ünü kolayca yükleme imkanı sunuyor.
Desteklenen yapay zeka modelleri arasında GPT-OSS, Llama, Qwen, DeepSeek, Mistral ve Phi yer alıyor. Tiiny AI, 120B parametreli büyük modelleri mobil ve taşınabilir cihazlarda çalıştırabilmeyi iki temel teknolojik alanda görüyor:
- TurboSparse – nöron seviyesinde seyrekleştirilmiş aktivasyon sağlayarak işlem verimliliğini artıran ve performanstan ödün vermeden yapay zekanın gelişmesini sağlayan yöntem.
- PowerInfer – CPU ve NPU arasında görev yükünü paylaşabilen, görevleri optimize eden açık kaynaklı heterojen çıkarım motoru.
Yaklaşık 30W TDP değerine sahip olan bu sistem, normal kullanımda 65W enerji tüketimiyle, özellikle mobil ve taşınabilir uygulamalara uygun hale geliyor. Yaklaşık 2026 yılının başında, CES 2026 etkinliğinde tanıtılması planlanan Pocket Lab ürününün ise piyasaya çıkış tarihi ve fiyatlandırması henüz açıklanmadı.
