… que eu sonho, em um equipamento deste perfil! Há tempos, estou realizando buscas por um novo mini PC potente o suficiente para realizar algumas tarefas que exigem alto poder computacional, com destaque para os modelos largos de IA (LLMs). Até então, o Framework Desktop era o equipamento mais próximo das minhas pretenções, que por sua vez é dotado de um SoC AMD Ryzen AI Max+ 385, com 32 GB de memória RAM LPDDR5X. O problema é que para rodar LLMs de até 32 bilhões de parâmetros, preciso de uma quantidade considerável de memória…
Em geral, os LLMs de 27B a 32B são capazes de rivalizar com maiores modelos de gerações anteriores em programação, cálculos de matemática e raciocínio lógico, ao mesmo tempo em que consomem poucos recursos de hardware. No entanto, para que eles possam rodar em sistemas com apenas 32 GB de memória RAM, será necessário reduzir precisão numérica dos pesos e ativações, através da quantização INT4 (0,5 bytes por parâmetro). Assim, conseguiremos reduzir em até 75% o uso da memória RAM e ao mesmo tempo, manter a precisão do modelo em torno de 95%.
Então, surge o Minisforum T5 Max. Diferente do Framework Desktop, este mini PC é dotado do SoC AMD Ryzen AI Max+ 388, uma edição atualizada do 385 que além de entregar uma APU mais poderosa (Radeon 8060S, 40 CUs e 2.9 GHz), também possui incríveis 48 GB de memória RAM! Graças a esta especificação, seria possível usar os modelos de até 32B (INT4) com uma certa folga, aumentando bastante o espaço disponível para o KV Cache. Mas nem tudo é perfeito: diferente dos demais equipamentos que fazem o uso desta APU, o T5 utiliza módulos LPDDR5-6400.
Mesmo dispondo de um barramento de 256 bits (compensando as limitações dos módulos), a vazão de dados irá reduzir a performance geral do equipamento, em aplicações que exijam uma boa largura de banda (jogos 3D e LLMs). Para se ter uma idéia, ela é capaz de entregar apenas 204,8 GB/s e uma placa de vídeo atual e intermediária (como a AMD Radeon RX 9060 XT) passa tranquilo de 300 GB/s. E se não bastasse a grande redução, lembrem-se de que por ser unificada, o barramento ainda é compartilhado com uma CPU possui 8 núcleos “vorazes” por dados!
Por isto, ainda pretendo levar em consideração os demais equipamentos que apesar de oferecer “apenas” 32 GB de RAM, utilizam módulos de memória LPDDR5X-8000, que por sua vez alcançam uma razoável taxa de 256 GB/s. Se fosse obrigado a escolher hoje, talvez viria a preferir esta última opção, apesar da menor quantidade de memória RAM. Mas também torço para não precisar escolher: como pretendo adquirir este equipamento somente daqui a 2 ou 3 anos, muito provavelmente a AMD terá renovado a sua linha de APUs Ryzen AI Max+ e dispor de opções mais generosas.
De qualquer forma, o Minisforum T5 Max não deixa de ser uma grata surpresa e quanto mais opções, melhor! Apesar da sua (única) limitação, o equipamento ainda continuaria sendo uma opção viável para as aplicações que pretendo utilizá-lo e em vista do lançamento de futuros SoCs (mais poderosos, porém caros), talvez consiga comprá-lo até mesmo por valores mais em conta. Por fim, o seu gabinete também se tornou um diferencial interessante, já que ele é basicamente um clone do Dell Precision 3240, um outro mini PC que um dia, quase comprei!
Pois não pretendo ficar nesta vibe de apreciar, mas não comprar… &;-D