Ejecutar IA en su propia computadora: modelos locales, hardware y límites de privacidad

¿Qué significa ejecutar IA en local?

Ejecutar un modelo de lenguaje en local significa que los cálculos del modelo se realizan en una computadora bajo el control del usuario y no en el servicio de inferencia de un proveedor remoto. Una vez obtenidos los archivos del modelo y el entorno de ejecución, un chat local puede funcionar sin conexión a internet. LM Studio afirma que sus funciones básicas —incluidos los chats, los chats con documentos y un servidor local— no requieren conectividad una vez que hay un modelo presente. ^[1]

Esa definición exige cuidado. «Local» describe dónde ocurre la inferencia, no cada parte del flujo de trabajo. Buscar un modelo, descargar los archivos del modelo, comprobar si hay actualizaciones, usar una opción en la nube o llamar a una herramienta remota pueden seguir enviando tráfico de red. LM Studio enumera expresamente la búsqueda de modelos, la descarga de modelos nuevos, la descarga de entornos de ejecución y las comprobaciones de actualizaciones como operaciones con conexión. ^[1] Una instalación es tan local como lo sean cada uno de sus componentes y su configuración de red.

El funcionamiento local tiene ventajas prácticas. Puede funcionar durante una interrupción del servicio, evitar los cargos por prompt de los servicios alojados y mantener en la computadora los prompts ordinarios y los documentos adjuntos cuando la aplicación elegida está configurada para uso local. ^[1][4] También tiene costos: los archivos de los modelos pueden ser grandes, la calidad de las respuestas varía, el hardware puede ser lento y el usuario pasa a ser responsable de las actualizaciones, las descargas, el almacenamiento y los controles de acceso.

El primer objetivo sensato es modesto: ejecutar un modelo pequeño, en una computadora, mediante una aplicación local y con texto de prueba no sensible. Eso pone a prueba el hardware, el entorno de ejecución y el formato de archivo antes de que intervengan documentos importantes. También facilita distinguir si la limitación está en el modelo, en la longitud de contexto, en la memoria disponible o en la configuración de la aplicación.

¿Con qué aplicación de IA local debería empezar?

Para una experiencia de escritorio con interfaz gráfica, LM Studio es un punto de partida sencillo. Hugging Face la describe como una aplicación de escritorio para descargar, ejecutar y experimentar con modelos locales, con una interfaz gráfica, un explorador de modelos y herramientas para desarrolladores. Admite archivos GGUF y MLX compatibles a través de las integraciones del Hub con aplicaciones locales. ^[4]

Para un flujo de trabajo de línea de comandos y un servicio local sencillo, Ollama es una opción habitual. Hugging Face describe Ollama como una aplicación que ejecuta modelos de lenguaje en local con una interfaz sencilla de línea de comandos e indica su compatibilidad con GGUF. Ollama ofrece descargas para macOS, Linux y Windows. ^[3][4] Su página de descargas también distingue los modelos que se ejecutan en local de los modelos en la nube que se ejecutan en los servidores de Ollama, de modo que un flujo de trabajo solo es local cuando se selecciona un modelo local. ^[3] Esto la hace adecuada cuando una persona quiere integrar un modelo en un script o una aplicación locales en lugar de usar únicamente una ventana de chat.

Para los usuarios de Apple silicon que quieren un control de más bajo nivel, MLX-LM es la vía orientada a Apple. Apple describe MLX como su framework de arreglos de código abierto para Apple silicon y dice que MLX-LM puede cargar, ejecutar, cuantizar y ajustar (fine-tune) modelos de lenguaje. Su MLX-LM Server expone una interfaz local compatible con OpenAI. ^[5] Esto es útil para los desarrolladores, pero una aplicación gráfica suele ser más sencilla para un primer experimento.

No elija una aplicación únicamente porque el nombre de un modelo aparezca en su catálogo. El formato de archivo y el entorno de ejecución importan. Hugging Face señala que la integración de su página de modelo solo muestra una aplicación local cuando el modelo es compatible; por ejemplo, GGUF con llama.cpp u Ollama, GGUF o MLX con LM Studio, y los modelos MLX de generación de texto con MLX LM. ^[4] Seleccione el formato de modelo que el ejecutor elegido admite realmente.

Una regla práctica es: elija una interfaz gráfica cuando esté aprendiendo, elija un ejecutor local de línea de comandos cuando importe la automatización y elija un framework de inferencia cuando vaya a construir o servir una aplicación. Estas categorías se solapan, así que pruebe el flujo de trabajo exacto en lugar de tratarlas como opciones ideológicas en competencia.

¿Qué hardware se necesita para ejecutar un modelo local?

La memoria disponible es la primera restricción. Los pesos del modelo deben caber junto con el sistema operativo, el entorno de ejecución, el contexto del prompt y la memoria de trabajo temporal. Un modelo puede cargarse técnicamente y aun así resultar frustrantemente lento o fallar cuando el contexto solicitado se alarga. Empiece con un modelo más pequeño que el máximo teórico de la máquina y luego mida la velocidad de respuesta y la presión de memoria antes de descargar uno mucho mayor.

El tamaño del archivo ofrece una advertencia útil, no una respuesta completa. La ficha del modelo Qwen3.8-27B de Qwen indica 27B parámetros para el modelo de lenguaje (el resumen de archivos de la página de Hugging Face redondea los pesos almacenados a 28B parámetros), mientras que la forma del modelo descargado y la cuantización determinan cuánto almacenamiento y cuánta memoria se necesitan. ^[6] Al 11 de noviembre de 2026, las etiquetas de Qwen3.8 27B que lista Ollama van de 18 GB a 56 GB según la representación. ^[8] La cifra de 18 GB no es una promesa de que una computadora con 18 GB de memoria lo ejecutará con holgura, porque el contexto, el entorno de ejecución y el sistema operativo también consumen memoria.

Kimi K3.1 Pro ilustra por qué «pesos abiertos» no significa «apto para portátiles». La ficha del modelo de su editor describe un modelo de mezcla de expertos de 2.8T parámetros, con 104B parámetros activados y una ventana de contexto de un millón de tokens. ^[7] La ficha no indica ningún requisito de memoria ni de GPU; recomienda los motores de inferencia vLLM, SGLang y TokenSpeed. ^[7] Es una escala muy distinta de la de un modelo local compacto. La presencia de archivos descargables no es prueba de que una computadora personal normal pueda ejecutar el modelo en local de forma útil.

En Apple silicon, la capacidad total de memoria es el techo práctico. Apple muestra flujos de trabajo del servidor de MLX-LM en una Mac y señala que incluso una máquina con 512 GB de RAM puede quedarse pequeña para algunos modelos; en su sesión de junio de 2026 cita que el modelo más reciente de DeepSeek necesita más de 800 GB de memoria solo para los pesos y describe cómo repartir un modelo entre varias Mac para los casos más grandes. ^[5] Eso es infraestructura avanzada, no un requisito normal para principiantes.

Una GPU capaz hace más rápida la inferencia local: la página de descargas de Ollama dice que los modelos grandes son lentos en una computadora sin una GPU potente, mientras que Hugging Face describe llama.cpp como optimizado tanto para CPU como para GPU, de modo que la ejecución solo con CPU sigue siendo posible para modelos suficientemente pequeños y con expectativas modestas. ^[3][4] La elección del hardware debería partir de la tarea real: la redacción privada ocasional, la búsqueda local en documentos, la asistencia para programar o el servicio a varias personas necesitan, cada una, un tiempo de respuesta y una escala de modelo diferentes. No compre hardware basándose únicamente en un recuento de parámetros.

¿Cómo debería elegir un modelo local?

Elija por la tarea, la licencia, el formato y el ajuste al hardware antes que por la popularidad en internet. Un modelo de instrucciones pequeño puede bastar para redactar, resumir notas no críticas y hacer automatización local básica. Un modelo de visión y lenguaje puede ser pertinente cuando las imágenes forman parte de la tarea. Un modelo mayor puede mejorar algunas tareas, pero requiere más memoria, almacenamiento, energía y tiempo. Pruebe en los modelos candidatos el mismo prompt breve y una comprobación de respuesta conocida, en lugar de fiarse solo de una tabla de clasificación.

Qwen3.8-27B es un ejemplo actual con vías claras de distribución local. Su ficha oficial lo describe como un modelo nativo de visión y lenguaje con 27B parámetros, la página de Hugging Face enlaza a cuantizaciones para usar en llama.cpp, Ollama y LM Studio, y la propia biblioteca de Ollama lista el modelo. ^[6][8] Eso lo convierte en candidato solo para el hardware que pueda dar cabida a la cuantización y al contexto seleccionados. Las afirmaciones sobre capacidades de su ficha son declaraciones del editor, no una garantía de que producirá respuestas correctas para un lector concreto.

Kimi K3.1 Pro es un ejemplo de modelo que debería motivar una comprobación de escala antes de descargarlo. Su ficha lo etiqueta como multimodal y de pesos abiertos, pero también indica una arquitectura de 2.8T parámetros en total y un nombre de licencia especializada en lugar de Apache 2.0. ^[7] El usuario debería leer la licencia y las notas de despliegue antes de suponer que puede usarse en local, redistribuirse o usarse comercialmente. Una gran notoriedad no lo convierte en el primer modelo local adecuado.

La cuantización es la práctica de almacenar o calcular con una precisión numérica reducida para que un modelo sea más fácil de ejecutar. Puede cambiar mucho el uso de disco y las necesidades de memoria, pero también puede afectar a la calidad de las respuestas, a la velocidad o a las funciones admitidas. Las etiquetas q4_K_M, q8_0 y bf16 de Ollama para el mismo modelo Qwen3.8 27B, por ejemplo, figuran con 18 GB, 30 GB y 56 GB. ^[8] Por tanto, dos descargas que llevan el nombre del mismo modelo base pueden tener requisitos diferentes. Al comparar resultados, anote el repositorio exacto del modelo, la revisión, la cuantización y el entorno de ejecución.

No califique ningún modelo de «el mejor» sin una tarea. Para redactar notas sin conexión, un modelo estable y que cabe con holgura puede ser mejor que un modelo mayor que se queda sin memoria con frecuencia. Para la asistencia con código, pruébelo con el lenguaje de programación y el estilo de proyecto que se usan realmente. Para documentos que contienen información personal o profesional, verifique primero que la aplicación sigue siendo local y que el modelo no se está encaminando a través de un conector en la nube.

¿Cómo empezar a ejecutar un modelo local de forma segura?

Primero, instale un ejecutor desde su sitio oficial o desde una fuente de paquetes de confianza. No descargue un ejecutable ni un paquete de modelo desde un enlace desconocido en un chat, en la descripción de un video o en un anuncio. Ollama ofrece sus descargas admitidas desde su propia página de descargas, y Hugging Face dirige a los usuarios a través de páginas de modelos compatibles e integraciones con aplicaciones locales. ^[3][4]

Segundo, elija un modelo pequeño en un formato admitido por ese ejecutor. Descárguelo a través de una conexión en la que confíe y luego anote el editor, el nombre exacto del modelo, la revisión, la licencia y el tamaño del archivo. Este registro importa porque los nombres de los modelos se reutilizan a menudo en conversiones y cuantizaciones de la comunidad. Si un archivo no procede del editor o de un mantenedor de conversiones muy conocido, verifíquelo con cuidado antes de ejecutarlo.

Tercero, mantenga el primer servidor en local, en la propia computadora. LM Studio dice que su servidor local puede servir a localhost o a una red local, y Apple muestra MLX-LM Server usando una dirección local. ^[1][5] A un servidor de red local pueden acceder otros dispositivos de esa red; esa es una postura de seguridad distinta de la de localhost. No exponga la API de un modelo a la internet pública simplemente para que se conecte un teléfono u otra computadora.

Cuarto, haga pruebas con prompts inofensivos. Compruebe si el modelo sigue una instrucción básica, maneja el idioma previsto y si se niega a responder o alucina ante una pregunta de respuesta conocida. Los modelos locales pueden inventar información con total seguridad. Para decisiones de salud, legales, financieras, de seguridad personal o de seguridad informática, recurra a fuentes autorizadas y actuales y, cuando corresponda, a ayuda cualificada, en lugar de tratar cualquier salida de un modelo como una respuesta definitiva.

Quinto, solo entonces considere el chat con documentos o la automatización. LM Studio dice que los documentos procesados en local permanecen en la máquina, pero esa afirmación se aplica a la función local descrita en su documentación. ^[1] Revise cada herramienta, complemento, punto de conexión remoto y opción en la nube habilitados en la instalación real antes de introducir en ella material sensible.

¿Es la IA local privada y sin conexión?

Puede ser más privada que enviar cada prompt a un servicio alojado, pero no es automáticamente privada en todos los sentidos. LM Studio dice que, una vez descargado un modelo, los chats locales y el procesamiento local de documentos no salen del dispositivo. Su política de privacidad dice también que la empresa no maneja los chats ni los documentos, excepto cuando el usuario elige servicios en la nube. ^[1][2] Esas afirmaciones son útiles para ese producto y esa configuración, no una garantía general para todas las aplicaciones, complementos o servicios del sistema operativo.

Descargar modelos es un evento de red. También lo son muchas búsquedas en catálogos y comprobaciones de actualizaciones. LM Studio documenta estos límites expresamente, y su política de privacidad dice que las comprobaciones de actualizaciones envían información del dispositivo y de la aplicación junto con una dirección IP. ^[1][2] Un repositorio de modelos puede registrar la actividad de descarga, y la computadora sigue teniendo servicios de red ordinarios, copias de seguridad, navegadores y software de protección de equipos. Si un modelo de amenazas exige un aislamiento estricto, desconectar la máquina tras unas descargas verificadas y revisar la configuración completa del sistema importa más que un distintivo de «local».

El almacenamiento local también crea responsabilidades. Los chats con el modelo, los documentos, las cachés y los registros pueden permanecer en el disco. Proteja la cuenta de la computadora con una contraseña de dispositivo robusta y con cifrado de disco completo cuando esté disponible, use cuentas separadas cuando corresponda y entienda cómo funcionan las copias de seguridad. Una computadora robada o compartida puede exponer datos locales aunque no se haya enviado ningún prompt a un proveedor en la nube.

La privacidad tampoco equivale a corrección. Un modelo que se ejecuta por completo sin conexión puede seguir alucinando, reproducir sesgos, malinterpretar un archivo o dar consejos inseguros. El funcionamiento local da control sobre el flujo de datos; no establece que la respuesta del modelo sea exacta, legal, justa o adecuada para una decisión con consecuencias.

Por último, una API local merece control de acceso. Un servidor en localhost normalmente limita el acceso a la misma máquina, mientras que a un servidor vinculado a una red local pueden acceder otros dispositivos de la red. Tanto Apple como LM Studio describen capacidades de servidor local. ^[1][5] No suponga que «en mi Wi-Fi» significa «suficientemente privado» sin saber quién puede unirse a la red y qué autenticación está en vigor.

¿Cuáles son los errores habituales con los modelos locales?

El primer error es descargar el modelo más grande que se ve. Los archivos más grandes pueden no cargarse, no dejar espacio para el contexto o ser tan lentos que la instalación resulte inutilizable. Empiece con algo pequeño, establezca una línea de base y aumente la escala solo cuando la tarea muestre una necesidad clara.

El segundo es confundir un archivo de modelo con una aplicación. El modelo aporta los pesos aprendidos; un ejecutor aporta el código que carga esos pesos y produce las salidas. La compatibilidad de formatos determina si funcionan juntos. La documentación de Hugging Face sobre aplicaciones locales enumera distintos formatos compatibles para LM Studio, Ollama, llama.cpp y MLX LM. ^[4]

El tercero es suponer que un servidor local es seguro porque fue fácil de iniciar. Un comando que funciona en una computadora puede cambiarse más tarde para que escuche en una dirección de red, colocarse detrás de una interfaz web o ser llamado por otro software. Mantenga los servicios en local de forma predeterminada y añada acceso de manera deliberada, con autenticación y revisión de la red.

El cuarto es tratar la etiqueta de una licencia como un detalle. Qwen3.8-27B figura con la etiqueta Apache 2.0 en su página de Hugging Face, mientras que la ficha de Kimi K3.1 Pro muestra una licencia propia de Kimi. ^[6][7] Las condiciones pueden afectar a la redistribución, la modificación, el uso comercial y los avisos obligatorios. Lea la licencia asociada a los archivos exactos, no una entrada de blog sobre un modelo de nombre parecido.

El quinto es confiar más en una respuesta fluida que en una fuente verificable. Pida al modelo que explique, redacte o busque en local si resulta útil, pero compruebe las afirmaciones importantes en la documentación primaria. La respuesta correcta ante la incertidumbre es comprobar una fuente, no escribir un prompt más largo.

¿Cuál es una primera instalación sensata de IA local?

Una primera instalación sensata es deliberadamente pequeña: un ejecutor oficial de escritorio o de línea de comandos, un modelo pequeño compatible, un chat exclusivamente local y material de prueba inofensivo. LM Studio, Ollama y MLX-LM admiten, cada uno, estilos distintos de uso local, así que seleccione la herramienta que corresponda al nivel de comodidad del usuario en lugar de montar un clúster de servidores el primer día. ^[1][3][4][5]

Mida tres cosas después de la primera ejecución: si el modelo cabe sin agotar la memoria, si su tiempo de respuesta es aceptable para la tarea prevista y si su salida es lo bastante buena al contrastarla con respuestas conocidas. Si algún resultado es deficiente, cambie una variable cada vez —un modelo más pequeño, un contexto más corto, una cuantización diferente o un entorno de ejecución distinto— en lugar de suponer que la computadora necesita un reemplazo inmediato.

Después, haga explícito el límite de privacidad. Decida si el flujo de trabajo funciona sin conexión tras la descarga, si el servidor es solo localhost, qué carpetas pueden adjuntarse y si hay alguna integración en la nube habilitada. El resultado no es un secreto perfecto ni una inteligencia perfecta. Es una herramienta local controlada cuyas fortalezas y cuyos límites se conocen.