En enero, Microsoft anunciado Sus planes para llevar las versiones optimizadas por NPU del modelo Deepseek-R1 directamente a Copilot+ PC con procesadores Qualcomm Snapdragon X. En febrero, Deepseek-R1-Distill-Qwen-1.5b se puso a disposición por primera vez en Aitoolkit para VScode.
Hoy, Microsoft anunciado La disponibilidad de modelos destilados Deepseek R1 7B y 14B para Copilot+ PCS a través de Azure Ai Foundry. La capacidad de ejecutar modelos 7B y 14B localmente en Copilot+ PCS permitirá a los desarrolladores construir nuevos tipos de aplicaciones con IA que antes no eran posibles.
Dado que los modelos se ejecutan en NPUS, los usuarios pueden esperar una potencia de cálculo de IA sostenida con menos impacto en la duración de la batería de su PC y el rendimiento térmico. Además, su CPU y GPU estarán disponibles para realizar otras tareas.
Microsoft destacó que usó Aqua, una herramienta de cuantización automática interna, para cuantificar todas las variantes del modelo Deepseek a los pesos INT4. Desafortunadamente, la velocidad del token modelo es bastante baja. Microsoft informa solo 8 tok/seg en el modelo 14B y cerca de 40 tok/seg con el modelo 1.5b. Microsoft mencionó que está trabajando en optimizaciones adicionales para mejorar la velocidad. A medida que Microsoft continúa optimizando el rendimiento, se espera que el impacto de estos modelos en Copilot+ PCS crezca significativamente.
Los desarrolladores interesados pueden descargar y ejecutar las variantes 1.5b, 7b y 14B de modelos Deepseek en Copilot+ PCS a través de la extensión de código de herramientas AI vs. El modelo Deepseek está optimizado en el formato ONNX QDQ y se descarga directamente de Azure Ai Foundry. Estos modelos también llegarán a Copilot+ PC con procesadores Intel Core Ultra 200V y AMD Ryzen en el futuro.
Este movimiento de Microsoft significa un impulso hacia capacidades de IA en dispositivo más potentes, abriendo nuevas posibilidades para aplicaciones basadas en AI.
Enlace de origen