{"id":25139,"date":"2026-10-28T06:25:00","date_gmt":"2026-10-28T06:25:00","guid":{"rendered":"https:\/\/atalnetworks.com\/?p=25139"},"modified":"2026-10-28T06:28:33","modified_gmt":"2026-10-28T06:28:33","slug":"llm-inference-server-sizing","status":"publish","type":"post","link":"https:\/\/atalnetworks.com\/es\/blog\/llm-inference-server-sizing\/","title":{"rendered":"LLMS de alojamiento autom\u00e1tico en un servidor dedicado: Gu\u00eda de dimensionamiento de hardware"},"content":{"rendered":"<p><b>Para autohospedar un LLM en un servidor dedicado, dimensione el hardware para el modelo, la longitud del contexto, las solicitudes activas y el destino del tiempo de respuesta.<\/b><span style=\"font-weight: 400;\"> Presupuesto para pesos de modelo, memoria de solicitud, sobrecarga de tiempo de ejecuci\u00f3n, RAM del sistema, trabajo de CPU y almacenamiento. Un modelo que se carga con \u00e9xito ha pasado una comprobaci\u00f3n de memoria, no una prueba de capacidad de producci\u00f3n.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">La brecha se aclara durante una hora ocupada. Una breve solicitud funciona. Varios usuarios env\u00edan documentos largos, la cola de solicitud crece y el mismo servidor se queda sin memoria o tarda demasiado en responder.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Evite ese problema planificando en este orden:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Defina el modelo exacto y el perfil de solicitud.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Calcule la memoria de peso y la memoria cach\u00e9 por separado.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Presupuesto para el servidor completo y servicios de apoyo.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Pruebe el tr\u00e1fico realista contra el tiempo de respuesta y los objetivos de calidad.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Compare los costos completos de las configuraciones que pasan.<\/span><\/li>\n<\/ol>\n<h2><span style=\"font-weight: 400;\">Comience con el modelo y solicite el perfil<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">El tama\u00f1o del servidor comienza con lo que la aplicaci\u00f3n debe hacer. \u201cEjecutar un LLM para nuestro equipo\u201d es demasiado amplio para producir una recomendaci\u00f3n de hardware \u00fatil.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Registre estas entradas antes de comparar servidores:<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Entrada<\/b><\/th>\n<th><b>que grabar<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Modelo<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Nombre exacto, revisi\u00f3n, arquitectura y licencia<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Formato de peso<\/span><\/td>\n<td><span style=\"font-weight: 400;\">FP16, BF16 o el artefacto cuantificado espec\u00edfico<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Contexto<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Recuentos de tokens de salida m\u00e1s r\u00e1pido y normales<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Tr\u00e1fico<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Generaciones activas, tasa de llegada y comportamiento de r\u00e1faga<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Rendimiento<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Tiempo hasta el primer token y tiempo de finalizaci\u00f3n aceptable<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Calidad<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Tareas que el modelo debe completar correctamente<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Otros servicios<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Incrustaci\u00f3n, reclasificaci\u00f3n, b\u00fasqueda de vectores, API y monitoreo<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">operaciones<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Proceso de actualizaci\u00f3n, necesidades de recuperaci\u00f3n y reserva de crecimiento<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">El contexto incluye instrucciones del sistema, historial de chat, texto recuperado, entrada de usuario y salida generada. Una pregunta corta puede producir una entrada de modelo larga si la aplicaci\u00f3n agrega varios documentos.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Tambi\u00e9n separar a los usuarios de las solicitudes activas. Un servicio con 100 usuarios registrados puede tener solo unas pocas generaciones funcionando a la vez. Un agente utilizado por una persona puede emitir varias solicitudes durante una sola tarea.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Para obtener una definici\u00f3n del proceso de servicio, consulte <\/span><a href=\"https:\/\/atalnetworks.com\/es\/what-is-ai-inference\/\"><span style=\"font-weight: 400;\">Lo que significa la inferencia de IA<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Mantenga la inferencia separada del entrenamiento<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Esta gu\u00eda cubre la inferencia: usar un modelo ya entrenado para producir una respuesta. El entrenamiento y el ajuste fino pueden requerir memoria adicional para gradientes, estado del optimizador y activaciones, seg\u00fan el m\u00e9todo.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">No utilice una tabla de dimensionamiento de inferencia como recomendaci\u00f3n de entrenamiento. Si la misma m\u00e1quina debe servir a los usuarios y ejecutar trabajos de ajuste fino, pruebe el programa combinado o separe esas cargas de trabajo.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Calcule primero la memoria de peso modelo<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Los pesos del modelo son los valores num\u00e9ricos almacenados utilizados durante la inferencia. Su huella de memoria proporciona el punto de partida para un presupuesto de hardware.<\/span><\/p>\n<p><b>Memoria de peso idealizada en bytes = recuento de par\u00e1metros \u00d7 bits por peso \u00f7 8<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Para un modelo nominal de ocho mil millones de par\u00e1metros a 16 bits:<\/span><\/p>\n<p><b>8.000.000.000 \u00d7 16 \u00f7 8 = 16.000.000.000 bytes, o 16 GB<\/b><\/p>\n<p><span style=\"font-weight: 400;\">A cuatro bits idealizados por peso, el mismo c\u00e1lculo da 4 GB.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Tama\u00f1o del modelo nominal<\/b><\/th>\n<th><b>Piso de peso FP16\/BF16<\/b><\/th>\n<th><b>Piso de peso de 8 bits<\/b><\/th>\n<th><b>Piso de peso de 4 bits<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">8B<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4 GB<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">14B<\/span><\/td>\n<td><span style=\"font-weight: 400;\">28 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">14 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">7 GB<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">64 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 GB<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">70b<\/span><\/td>\n<td><span style=\"font-weight: 400;\">140 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">70 GB<\/span><\/td>\n<td><span style=\"font-weight: 400;\">35 GB<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><b>Estas figuras cubren solo los pesos idealizados.<\/b><span style=\"font-weight: 400;\"> Excluyen la memoria cach\u00e9 de solicitudes, los b\u00faferes de trabajo, los metadatos de cuantificaci\u00f3n y otras asignaciones de tiempo de ejecuci\u00f3n. El modelo exacto tambi\u00e9n puede tener m\u00e1s par\u00e1metros de los que sugiere su nombre redondeado.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">\u00bfPor qu\u00e9 un archivo de 4 bits necesita m\u00e1s que el c\u00e1lculo sin procesar?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Un artefacto cuantificado puede contener valores de escala, metadatos y tensores almacenados a otras precisiones. Su tama\u00f1o descargado y su huella de memoria cargada pueden diferir.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Registre el artefacto exacto, luego inspeccione la memoria despu\u00e9s de cargarlo en el tiempo de ejecuci\u00f3n previsto. No trate todos los formatos etiquetados como \"4 bits\" como intercambiables.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">La reducci\u00f3n de la precisi\u00f3n del peso tampoco reduce autom\u00e1ticamente la precisi\u00f3n de la memoria cach\u00e9 de solicitud. Esas son configuraciones separadas con controles de calidad y compatibilidad independientes.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Usar par\u00e1metros totales para la planificaci\u00f3n del peso de MOE<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Un modelo de mezcla de expertos, o modelo MOE, activa solo una parte de su red de expertos para cada token. Eso puede reducir el c\u00e1lculo en relaci\u00f3n con el uso de todos los expertos, pero los otros pesos a\u00fan necesitan un plan de colocaci\u00f3n.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Para una residencia completa, presupuesto para el modelo almacenado, no solo su conteo de par\u00e1metros activo. La descarga de expertos y la ubicaci\u00f3n distribuida pueden cambiar donde se utiliza la memoria, pero introducen sus propios costos de transferencia y ejecuci\u00f3n.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Mantenga a GB y GIB consistentes<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Un GB es de mil millones de bytes. Un GIB es de 1.073.741.824 bytes. Una carga \u00fatil de 4 GB es de aproximadamente 3.73 GiB.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Convierta valores a la misma unidad antes de restar la memoria del modelo de un presupuesto de dispositivo. Utilice la memoria disponible real informada para el despliegue en lugar de mezclar una etiqueta de producto con una medici\u00f3n informada de manera diferente.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Agregar cach\u00e9 de KV, longitud de contexto y solicitudes concurrentes<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">El cach\u00e9 clave-valor, generalmente llamado <\/span><b>Cach\u00e9 de KV<\/b><span style=\"font-weight: 400;\">, almacena los datos de atenci\u00f3n utilizados mientras el modelo genera texto. Los pesos del modelo se pueden compartir entre solicitudes dentro de una instancia de modelo, pero las secuencias activas tambi\u00e9n necesitan estado de solicitud.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Es por eso que los contextos m\u00e1s largos y las solicitudes m\u00e1s activas pueden consumir memoria incluso cuando el modelo cargado no cambia.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Para un decodificador convencional con el mismo dise\u00f1o de atenci\u00f3n total en cada capa, estimar la carga \u00fatil de cach\u00e9 l\u00f3gica como:<\/span><\/p>\n<p><b>KV bytes \u2248 2 \u00d7 Capas \u00d7 Cabezas de kV \u00d7 Dimensi\u00f3n de la cabeza \u00d7 bytes por valor en cach\u00e9 \u00d7 Tokens en cach\u00e9 totales<\/b><\/p>\n<p><span style=\"font-weight: 400;\">El factor de dos cuentas de claves y valores. Los tokens totales en cach\u00e9 significan la suma en las secuencias activas. Si todas las secuencias tienen la misma longitud, multiplique esa longitud por el n\u00famero de secuencias activas.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Esta no es una f\u00f3rmula universal para cada modelo. La atenci\u00f3n de ventana deslizante, otras arquitecturas de cach\u00e9, la cuantizaci\u00f3n de cach\u00e9 y las reglas de asignaci\u00f3n de tiempo de ejecuci\u00f3n pueden cambiar el c\u00e1lculo. Abrazando las estrategias de cach\u00e9 de documentos faciales con diferentes comportamientos de memoria, incluidos l\u00edmites para las capas de atenci\u00f3n de ventana deslizante y de atenci\u00f3n fragmentada.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Un ejemplo de cach\u00e9 trabajado<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Meta&#8217;s Llama 3.1 8B configuration uses 32 layers, 32 attention heads, eight KV heads, and a hidden dimension of 4,096. The head dimension is 4,096 \u00f7 32 = 128.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Suponga un cach\u00e9 de kV de dos bytes, atenci\u00f3n total y sin compartir prefijo:<\/span><\/p>\n<p><b>2 \u00d7 32 \u00d7 8 \u00d7 128 \u00d7 2 = 131,072 bytes por token en cach\u00e9 por secuencia<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Eso equivale a 128 kib.\u00a0<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Tokens en cach\u00e9 por secuencia<\/b><\/th>\n<th><b>Secuencias activas<\/b><\/th>\n<th><b>Carga \u00fatil de kV l\u00f3gica calculada<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32 Gib<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">El modelo no cambia, pero la memoria de la solicitud cambia bruscamente. Esta es la raz\u00f3n por la que agregar un porcentaje fijo al tama\u00f1o del modelo no puede tener en cuenta cada contexto y objetivo de concurrencia.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Estas son cargas \u00fatiles calculadas, no asignaciones de GPU medidas. Un tiempo de ejecuci\u00f3n puede reservar bloques de cach\u00e9 por adelantado o conservar las asignaciones para su reutilizaci\u00f3n. Por lo tanto, la memoria informada por una herramienta de monitoreo puede diferir de la carga \u00fatil del token en vivo.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Cree un presupuesto de memoria de GPU completo<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Para una implementaci\u00f3n totalmente residente de GPU, comience con:<\/span><\/p>\n<p><b>Presupuesto de memoria GPU = pesos cargados + asignaci\u00f3n de kV + memoria de trabajo en tiempo de ejecuci\u00f3n + reserva operativa<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Utilice valores de tiempo de ejecuci\u00f3n medidos cuando sea posible. Evite contar dos veces el mismo grupo de cach\u00e9 reservado.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Ejemplo: un asistente de contexto corto versus un servicio compartido<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">El siguiente es un <\/span><b>Escenario de ense\u00f1anza<\/b><span style=\"font-weight: 400;\">, no un punto de referencia total. asumir:<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Pesos cuantificados cargados: 5 Gib.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Otra memoria de trabajo en tiempo de ejecuci\u00f3n: 2 Gib.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Reserva operativa: 2 Gib.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Dise\u00f1o de cach\u00e9 de la llama 3.1 8b Ejemplo anterior.<\/span><\/li>\n<\/ul>\n<table>\n<thead>\n<tr>\n<th><b>Art\u00edculo de memoria<\/b><\/th>\n<th><b>Asistente de contexto corto<\/b><\/th>\n<th><b>Servicio compartido de contexto m\u00e1s largo<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Secuencias activas<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1<\/span><\/td>\n<td><span style=\"font-weight: 400;\">4<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Tokens en cach\u00e9 por secuencia<\/span><\/td>\n<td><span style=\"font-weight: 400;\">8,192<\/span><\/td>\n<td><span style=\"font-weight: 400;\">32,768<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Pesos cargados, asumidos<\/span><\/td>\n<td><span style=\"font-weight: 400;\">5 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">5 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Carga \u00fatil de kV l\u00f3gica, calculada<\/span><\/td>\n<td><span style=\"font-weight: 400;\">1 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">16 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">otra memoria de trabajo, asumida<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">reservar, asumido<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">2 Gib<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Total de planificaci\u00f3n combinado<\/span><\/td>\n<td><span style=\"font-weight: 400;\">10 Gib<\/span><\/td>\n<td><span style=\"font-weight: 400;\">25 Gib<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Bajo estas suposiciones, el primer perfil borra una verificaci\u00f3n de presupuesto de memoria de 16 GIB. El segundo supera un presupuesto de 24 GIB. Ninguno de los resultados demuestra el rendimiento o el tiempo de respuesta.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Las cifras de reserva y gastos generales son insumos para este ejemplo, no recomendaciones generales. Reempl\u00e1celos con medidas del tiempo de ejecuci\u00f3n exacto y la configuraci\u00f3n antes de seleccionar el hardware.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">\u00bfQu\u00e9 pasa con un modelo 70b?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Un modelo 70B nominal tiene un piso de peso de cuatro bits idealizado de 35 GB. No puede ser completamente residente de GPU dentro de los 24 GB de la memoria disponible, incluso antes de la memoria cach\u00e9 y la sobrecarga.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Las posibles rutas incluyen una GPU de memoria m\u00e1s grande, una ubicaci\u00f3n multi-GPU compatible, descarga de CPU o un modelo m\u00e1s peque\u00f1o que pase la prueba de calidad de la tarea. Un dispositivo de 48 GB no es una recomendaci\u00f3n general para cada carga de trabajo de 70B. El contexto, las solicitudes activas, la sobrecarga de formato y el comportamiento en tiempo de ejecuci\u00f3n siguen siendo importantes.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Elija el hardware de GPU por m\u00e1s de VRAM<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Suficiente memoria hace posible una configuraci\u00f3n. No hace que la configuraci\u00f3n sea lo suficientemente r\u00e1pida.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Compare candidatos usando la misma carga de trabajo:<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>Comprobaci\u00f3n de hardware<\/b><\/th>\n<th><b>que confirmar<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">VRAM disponible<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Asignaci\u00f3n real despu\u00e9s de particiones y otros procesos<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Soporte de tiempo de ejecuci\u00f3n<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Soporte de arquitectura, controlador, back-end y modelo de GPU<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Formatos de peso y cach\u00e9<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Kernels compatibles y comportamiento de memoria<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Ancho de banda de memoria<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Rendimiento bajo el modelo seleccionado y mezcla de solicitud<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">interconectar<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Topolog\u00eda de dispositivo para el m\u00e9todo paralelo elegido<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Potencia y enfriamiento<\/span><\/td>\n<td><span style=\"font-weight: 400;\">L\u00edmites operativos sostenidos en el servidor<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Condiciones de servicio<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Recursos dedicados o compartidos, soporte y proceso de reemplazo<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Evite seleccionar una GPU de una tabla de usuarios gen\u00e9ricos por tarjeta. Diez solicitudes cortas y diez solicitudes de documentos largos son diferentes cargas de trabajo.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Mantenga la revisi\u00f3n de modelo preseleccionada, la versi\u00f3n en tiempo de ejecuci\u00f3n, los l\u00edmites de solicitud\/salida y el destino de solicitud activa junto a cada opci\u00f3n de hardware. De lo contrario, la comparaci\u00f3n es dif\u00edcil de reproducir.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Tama\u00f1o del sistema RAM, CPU, almacenamiento y redes<\/span><\/h2>\n<h3><span style=\"font-weight: 400;\">RAM del sistema: presupuesto para carga y servicios de host<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">La RAM del sistema admite el sistema operativo, la carga del modelo, las API, la tokenizaci\u00f3n, la supervisi\u00f3n y cualquier modelo o estado de cach\u00e9 residente en CPU. Los modelos de incrustaci\u00f3n, los reclasificadores y las bases de datos vectoriales agregan m\u00e1s demanda si comparten el host.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Mida el pico de RAM durante el arranque, as\u00ed como la operaci\u00f3n constante. El m\u00e9todo de carga puede utilizar copias temporales o buffers que est\u00e1n ausentes despu\u00e9s del inicio.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">No hay una sola relaci\u00f3n RAM-VRAM que se ajuste a cada pila de inferencia. Cree un presupuesto de host a partir del tiempo de ejecuci\u00f3n seleccionado, el plan de descarga y los servicios de soporte. Un modelo que encaja en la GPU a\u00fan puede fallar durante la carga porque la memoria del host es insuficiente.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">CPU: haga coincidir los n\u00facleos y el ancho de banda de la memoria con la tarea<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">En un servidor respaldado por GPU, la CPU a\u00fan maneja el procesamiento de solicitudes, tokenizaci\u00f3n, red y trabajo de aplicaciones. La inferencia de CPU tambi\u00e9n hace que la ejecuci\u00f3n del procesador y el comportamiento de memoria del sistema sean fundamentales para el rendimiento.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Pruebe el recuento de hilos previsto. M\u00e1s n\u00facleos no producen autom\u00e1ticamente un aumento coincidente en la tasa de tokens. Para los sistemas multisocket, inspeccione la localidad de memoria y la ubicaci\u00f3n de GPU y dispositivos de red.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Un servidor dedicado solo con CPU puede ser un candidato para trabajos por lotes, experimentos o tareas de baja frecuencia. Si es adecuado para uso interactivo depende del modelo y del tiempo de respuesta medido.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Almacenamiento de NVMe: incluye versiones y recuperaci\u00f3n<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Almacenamiento de presupuesto para m\u00e1s de un modelo descargado:<\/span><\/p>\n<p><b>Presupuesto de almacenamiento = Archivos de modelos activos + Archivos de reversi\u00f3n + Artefactos en tiempo de ejecuci\u00f3n + Datos de la aplicaci\u00f3n + Registros retenidos + Espacio de trabajo libre<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Agregue \u00edndices vectoriales y datos de documentos cuando la recuperaci\u00f3n comparte el servidor. Tambi\u00e9n considere las descargas temporales y los archivos de conversi\u00f3n.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">NVMe local puede reducir la carga de modelos y los retrasos en el acceso a datos. No garantiza una tasa de generaci\u00f3n m\u00e1s alta despu\u00e9s de que todos los pesos requeridos sean residentes en la memoria. Mida el tiempo de arranque en fr\u00edo por separado del rendimiento de la solicitud en caliente.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Redes: Separe el tr\u00e1fico del cliente del tr\u00e1fico del modelo<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Un puerto de red p\u00fablica maneja conexiones, descargas y transferencias de clientes. Los enlaces de GPU a GPU y la red entre nodos de inferencia distribuidos tienen diferentes prop\u00f3sitos.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">No utilice una especificaci\u00f3n p\u00fablica de puerto de 10 Gbps como prueba del rendimiento de inferencia de varios nodos. Compruebe la topolog\u00eda real, el m\u00e9todo de comunicaci\u00f3n y los requisitos de tiempo de ejecuci\u00f3n.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Para aplicaciones de voz, mida el turno completo: entrada de voz, transcripci\u00f3n, respuesta del modelo, generaci\u00f3n de voz y entrega. LLM Time to the First Token cubre solo una parte de ese camino.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Haga coincidir el tiempo de ejecuci\u00f3n y el dise\u00f1o de m\u00faltiples GPU con la carga de trabajo<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Elija el tiempo de ejecuci\u00f3n antes de tomar una decisi\u00f3n final de hardware. Controla la compatibilidad con el modelo, la ubicaci\u00f3n, el lote y la gesti\u00f3n de memoria.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>tiempo de ejecuci\u00f3n<\/b><\/th>\n<th><b>Ruta de evaluaci\u00f3n \u00fatil<\/b><\/th>\n<th><b>comprobar antes de comprometerse<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">collama alta<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Pruebas de modelo y un flujo de trabajo de servicio m\u00e1s simple<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Soporte de hardware, contexto, solicitudes paralelas y l\u00edmites de modelos cargados<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Llama.cpp<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Modelos GGUF, inferencia de CPU y descarga parcial de GPU<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Construir\/backend, soporte de artefactos, capas descargadas y velocidad medida<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">VLLM<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Servicio por lotes e implementaciones multi-GPU compatibles<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Compatibilidad de modelo\/formato, controles de memoria, topolog\u00eda y latencia bajo carga<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Documentos de Ollama aumentan las necesidades de memoria con solicitudes paralelas y un contexto m\u00e1s largo. Llama.cpp admite la inferencia h\u00edbrida de CPU\/GPU. Estas son opciones para probar, no garant\u00edas de una tasa de token espec\u00edfica.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">\u00bfDividir un modelo o ejecutar r\u00e9plicas separadas?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Dividir un modelo a trav\u00e9s de GPU puede ayudar cuando no cabe en un dispositivo. El paralelismo tensor divide las operaciones de tensor apoyadas; El paralelismo de la canalizaci\u00f3n divide las etapas o capas del modelo. Los despliegues de MOE tambi\u00e9n pueden usar paralelismo experto.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Las r\u00e9plicas tienen un prop\u00f3sito diferente. Cada copia tiene sus propios pesos y puede manejar un conjunto de solicitudes por separado. Las r\u00e9plicas pueden agregar capacidad de servicio cuando una copia ya encaja, pero no combinan su memoria para contener un modelo m\u00e1s grande.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Dos GPU no se convierten en un grupo de memoria autom\u00e1tico. La asignaci\u00f3n por dispositivo, la comunicaci\u00f3n y la compatibilidad con el tiempo de ejecuci\u00f3n a\u00fan limitan el dise\u00f1o. VLLM documenta m\u00faltiples m\u00e9todos paralelos y consideraciones de topolog\u00eda.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">NVLink no es un requisito universal. Compare el dise\u00f1o admitido real y compare el mismo. Ni agregar una segunda GPU ni duplicar la VRAM total garantiza el doble de \u00fatil.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">comparar el servidor antes de la producci\u00f3n<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Pruebe el objetivo de la aplicaci\u00f3n, no el n\u00famero m\u00e1s alto en una captura de pantalla de referencia.<\/span><\/p>\n<table>\n<thead>\n<tr>\n<th><b>M\u00e9trico<\/b><\/th>\n<th><b>lo que te dice<\/b><\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td><span style=\"font-weight: 400;\">Hora a la primera ficha, o TTFT<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Cu\u00e1nto tiempo espera el cliente para la salida del modelo inicial<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Latencia entre fichas<\/span><\/td>\n<td><span style=\"font-weight: 400;\">C\u00f3mo llega la salida sin problemas despu\u00e9s de que comienza la generaci\u00f3n<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Tasa de salida por solicitud<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Velocidad de generaci\u00f3n experimentada por una solicitud<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Tasa de salida agregada<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Salida total en todo el servidor<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Solicitar tiempo de finalizaci\u00f3n<\/span><\/td>\n<td><span style=\"font-weight: 400;\">cuanto tarda la respuesta completa<\/span><\/td>\n<\/tr>\n<tr>\n<td><span style=\"font-weight: 400;\">Errores y crecimiento de la cola<\/span><\/td>\n<td><span style=\"font-weight: 400;\">Si la demanda excede la capacidad utilizable<\/span><\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p><span style=\"font-weight: 400;\">Las definiciones y los l\u00edmites de medici\u00f3n son importantes. La gu\u00eda de referencia de NVIDIA distingue las tasas de tokens a nivel de usuario, el rendimiento del sistema y la latencia de respuesta. Mantenga las definiciones de la herramienta seleccionada con los resultados.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Usar una prueba de aceptaci\u00f3n repetible<\/span><\/h3>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Arregle la configuraci\u00f3n.<\/b><span style=\"font-weight: 400;\"> Registrar modelo de registro, artefacto, tokenizador, tiempo de ejecuci\u00f3n, controlador, GPU, CPU, RAM, almacenamiento y l\u00edmites de potencia.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Pruebe una solicitud.<\/b><span style=\"font-weight: 400;\"> Mida el comportamiento fr\u00edo y c\u00e1lido con las longitudes de entrada y salida representativas.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>aumentar la concurrencia.<\/b><span style=\"font-weight: 400;\"> Compruebe las solicitudes normales y largas en varios niveles de solicitud activa.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Prueba de r\u00e1fagas de llegada.<\/b><span style=\"font-weight: 400;\"> Env\u00ede solicitudes a la tasa esperada para que las colas y el comportamiento de sobrecarga sean visibles.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>comprobar la calidad.<\/b><span style=\"font-weight: 400;\"> Repita las pruebas de tareas despu\u00e9s de cambiar la precisi\u00f3n, el contexto o la configuraci\u00f3n de servicio.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><b>Registre las condiciones del pase.<\/b><span style=\"font-weight: 400;\"> Incluya la latencia, el rendimiento exitoso, la memoria, la calidad y la reserva requerida.<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">Use varias repeticiones medidas despu\u00e9s de un calentamiento constante. Informar fallas, recuentos de muestras y la difusi\u00f3n de los resultados. Una cifra de P99 basada en muy pocas solicitudes puede enga\u00f1ar.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Si est\u00e1 habilitado el almacenamiento en cach\u00e9 de prefijos, pruebe los prefijos nuevos y repetidos. Si las incrustaciones o reclasificaci\u00f3n comparten la m\u00e1quina, incl\u00fayalas en la prueba de carga. Un resultado sint\u00e9tico de solicitud corta no puede establecer la capacidad de documento largo.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Utilice las herramientas actuales y registre sus versiones. La documentaci\u00f3n actual de Genai-Perf de Nvidia dice que se est\u00e1 eliminando gradualmente y dirige el nuevo trabajo de evaluaci\u00f3n comparativa a AiPerf.\u00a0<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">Cuando la memoria es el recurso limitante<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Primero identifique si el problema es la carga del modelo, la reserva de cach\u00e9, el crecimiento del contexto u otros servicios. Luego cambie un factor y vuelva a probar.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Las opciones posibles incluyen un modelo m\u00e1s peque\u00f1o, un artefacto cuantificado admitido, l\u00edmites de contexto m\u00e1s cortos, menos secuencias activas u otro plan de colocaci\u00f3n. Estas opciones pueden cambiar la calidad, la cola y el rendimiento.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">VLLM documenta los l\u00edmites de longitud y secuencia de contexto como controles de memoria, y se\u00f1ala que CUDA Graph Capture utiliza memoria de GPU adicional. Trate los ajustes como parte de la configuraci\u00f3n medida.\u00a0<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Compare el costo del autohosting con las API y las GPU en la nube<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Compare solo las configuraciones que cumplan con la calidad de la tarea y el tiempo de respuesta requeridos. Un servidor barato que produce respuestas inutilizables no es un ahorro.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Para un servidor dedicado alquilado, incluya:<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Cargos de alquiler y configuraci\u00f3n durante el plazo previsto.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Cargos de almacenamiento, transferencia, software y soporte.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Trabajos operativos para actualizaciones, monitoreo e incidentes.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Capacidad necesaria para el mantenimiento o manejo de fallas.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">No vuelva a agregar energ\u00eda cuando el cargo de alquiler ya lo incluya. Para el hardware propio, utilice un modelo de propiedad por separado que cubra la compra, la energ\u00eda, las instalaciones y el soporte.<\/span><\/p>\n<p><b>Costo por solicitud aceptada = Costo completo durante un per\u00edodo \u00f7 Solicitudes aceptadas durante ese per\u00edodo<\/b><\/p>\n<p><span style=\"font-weight: 400;\">Por ejemplo, un costo mensual completo ficticio de $1.200 dividido por 600.000 solicitudes aceptadas da $0.002 por solicitud aceptada. Este es un c\u00e1lculo de ense\u00f1anza, no una cita atal o una capacidad de servicio medida.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">No asuma diez veces que la demanda se ajusta al mismo servidor al mismo tiempo de respuesta. El costo cambia cuando la capacidad, la dotaci\u00f3n de personal o la reserva necesitan cambios.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Para comparaciones de API, tokens de entrada de precio, tokens de salida, almacenamiento en cach\u00e9 y otras categor\u00edas facturadas por separado. Para las GPU en la nube, incluya horas de funcionamiento, almacenamiento adjunto, transferencias y servicios de soporte necesarios.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">No existe un volumen de token universal en el que el autohosting sea m\u00e1s barato. La utilizaci\u00f3n, la calidad del modelo, la duraci\u00f3n de la solicitud, el hardware y la responsabilidad de operaci\u00f3n determinan el resultado.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Verifique los l\u00edmites de implementaci\u00f3n antes de realizar el pedido<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">El ajuste de hardware es una parte de la preparaci\u00f3n. Confirme la licencia exacta del modelo y el uso permitido. Compruebe la compatibilidad del controlador, el tiempo de ejecuci\u00f3n y los artefactos.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Controle el acceso al punto final de inferencia. Establezca los l\u00edmites de tama\u00f1o de solicitud, salida, cola y tasa. Definir reglas de registro y retenci\u00f3n. Revise las conexiones salientes, las incrustaciones externas, las herramientas y las API de respaldo si los datos deben permanecer dentro de un l\u00edmite espec\u00edfico.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Un servidor dedicado alquilado no se encuentra autom\u00e1ticamente en las instalaciones o en el aire. El autohosting le brinda control sobre las opciones de implementaci\u00f3n; No prueba que cada indicaci\u00f3n se mantenga en privado en cada configuraci\u00f3n.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Planifique actualizaciones de modelos, archivos de reversi\u00f3n, monitoreo y recuperaci\u00f3n. Si el servicio debe continuar durante una falla en el host, la arquitectura necesita capacidad libre fuera de ese host. M\u00faltiples GPU dentro de un servidor no proporcionan un segundo host.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Preguntas frecuentes<\/span><\/h2>\n<h3><span style=\"font-weight: 400;\">\u00bfPuedo hospedar un LLM sin una GPU?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">S\u00ed. Los tiempos de ejecuci\u00f3n compatibles pueden ejecutar modelos en CPU y algunos pueden dividir el trabajo entre CPU y GPU. Comience con un modelo y formato que se ajuste a la RAM del sistema, luego pruebe el tiempo de respuesta. La inferencia solo con CPU puede adaptarse a tareas por lotes o de baja frecuencia, pero se debe medir la idoneidad interactiva.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">\u00bfSon suficientes 24 GB de VRAM para un servidor LLM?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Depende del artefacto, el contexto, las solicitudes activas y el tiempo de ejecuci\u00f3n. Pueden encajar varios modelos de cuantizaci\u00f3n compacta, pero el ajuste de memoria no establece la capacidad de producci\u00f3n. Solo los pesos de cuatro bits idealizados de un modelo 70B nominal solo requieren 35 GB, lo que supera los 24 GB de VRAM disponible.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">\u00bfCu\u00e1nta memoria necesita un modelo 70b?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Los pisos de peso idealizados son de 140 GB a 16 bits, 70 GB a ocho bits y 35 GB a cuatro bits. A\u00f1ada sobrecarga de formato, cach\u00e9, memoria de trabajo y reserva. La ubicaci\u00f3n en la GPU y la memoria del host depende del tiempo de ejecuci\u00f3n.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">\u00bfPueden dos GPU de 24 GB reemplazar una GPU m\u00e1s grande?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">A veces, si el modelo y el tiempo de ejecuci\u00f3n admiten una divisi\u00f3n adecuada. No son autom\u00e1ticamente equivalentes a un dispositivo m\u00e1s grande. La comunicaci\u00f3n, la sobrecarga por dispositivo, la ubicaci\u00f3n de la cach\u00e9 y la topolog\u00eda del servidor afectan tanto el ajuste como la velocidad.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">\u00bfPor qu\u00e9 se carga el modelo pero falla con varias solicitudes?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">La carga comprueba si la asignaci\u00f3n inicial del modelo se ajusta. Las solicitudes adicionales pueden aumentar la cach\u00e9 y la demanda de memoria de trabajo. Mida el punto de falla exacto y verifique el contexto, los l\u00edmites de secuencia activa y otros servicios cargados antes de cambiar el hardware.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">\u00bfCu\u00e1nta RAM del sistema necesita un servidor de inferencia?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Presupuesto para picos de inicio, sistema operativo, tiempo de ejecuci\u00f3n, servicios de API, descarga de CPU y cualquier componente de recuperaci\u00f3n. Mida tanto la carga como la operaci\u00f3n estable. No existe un requisito fijo de RAM del sistema que se deba a la cuenta de par\u00e1metros o la memoria de GPU solo.<\/span><\/p>\n<h3><span style=\"font-weight: 400;\">\u00bfEs un servidor dedicado m\u00e1s barato que una API?<\/span><\/h3>\n<p><span style=\"font-weight: 400;\">Puede ser, pero compare los costos completos con la calidad de la tarea equivalente y el tiempo de respuesta. La demanda baja o irregular puede dejar inactivo el hardware alquilado. La demanda sostenida puede mejorar la utilizaci\u00f3n, siempre que el servidor seleccionado pueda manejarla dentro del objetivo de servicio.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Pr\u00f3ximos pasos recomendados<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Elija hardware de un perfil de solicitud documentado, no solo conteo de par\u00e1metros. Calcule los pesos y la cach\u00e9 por separado, agregue el presupuesto completo del servidor y pruebe las configuraciones que quedan.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Antes de cometer:<\/span><\/p>\n<ol>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Corrija la revisi\u00f3n del modelo, el artefacto, el contexto y el objetivo de solicitud activa.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Calcule el presupuesto de memoria utilizando unidades consistentes.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Confirme la compatibilidad con el tiempo de ejecuci\u00f3n y la ubicaci\u00f3n por dispositivo.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Prueba de latencia, rendimiento, calidad y comportamiento de falla.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><span style=\"font-weight: 400;\">Compare los costos completos durante el mismo per\u00edodo.<\/span><\/li>\n<\/ol>\n<p><span style=\"font-weight: 400;\">Para discutir una configuraci\u00f3n adecuada, revise <\/span><a href=\"https:\/\/atalnetworks.com\/es\/dedicated-servers\/\"><span style=\"font-weight: 400;\">Servidores dedicados Atal Networks<\/span><\/a><span style=\"font-weight: 400;\"> y comparta su modelo, perfil de solicitud, estimaci\u00f3n de memoria, ubicaci\u00f3n y requisitos de software. Confirme la disponibilidad de la GPU y las opciones admitidas para la oferta espec\u00edfica antes de realizar el pedido.<\/span><\/p>\n<h2><span style=\"font-weight: 400;\">Fuentes y notas de c\u00e1lculo<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Las fuentes se revisaron el 28 de octubre de 2026. Las configuraciones de modelo, el soporte en tiempo de ejecuci\u00f3n y el comportamiento del software pueden cambiar, por lo que registra la versi\u00f3n utilizada para una implementaci\u00f3n.<\/span><\/p>\n<ul>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/github.com\/meta-llama\/llama-models\/blob\/main\/models\/sku_list.py\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Configuraciones de modelos de Meta Llama<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/huggingface.co\/docs\/transformers\/en\/kv_cache\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Abrazando las estrategias de cach\u00e9 de cara<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.vllm.ai\/en\/stable\/configuration\/conserving_memory\/\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Controles de memoria VLLM<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.vllm.ai\/en\/stable\/serving\/parallelism_scaling\/\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Paralelismo y escalado de VLLM<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.ollama.com\/faq\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Preguntas frecuentes sobre Ollama<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Proyecto Llama.cpp<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/developer.nvidia.com\/blog\/?p=98215\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Conceptos de evaluaci\u00f3n comparativa de la inferencia de NVIDIA<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<li style=\"font-weight: 400;\" aria-level=\"1\"><a href=\"https:\/\/docs.nvidia.com\/deeplearning\/triton-inference-server\/user-guide\/docs\/perf_analyzer\/genai-perf\/README.html\" target=\"_blank\" rel=\"noopener\"><span style=\"font-weight: 400;\">Estado de la herramienta de referencia de NVIDIA<\/span><\/a><span style=\"font-weight: 400;\">.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">Las tablas de peso utilizan recuentos de bits idealizados y decimal GB. Las cifras de cach\u00e9 de KV utilizan GIB binaria y las suposiciones de atenci\u00f3n completa establecidas. La asignaci\u00f3n de peso de 5 GIB, la entrada de memoria de trabajo de 2 GIB, la reserva de 2 GIB y el ejemplo de d\u00f3lar son aportes de ense\u00f1anza ficticios. No son mediciones totales, precios o reclamos de capacidad.<\/span><\/p>","protected":false},"excerpt":{"rendered":"<p>To self-host an LLM on a dedicated server, size the hardware for the model, context length, active requests, and response-time [&hellip;]<\/p>\n","protected":false},"author":2,"featured_media":25140,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"default","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"set","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[6],"tags":[],"class_list":["post-25139","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-dedicated-server-hosting"],"acf":[],"_links":{"self":[{"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/posts\/25139","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/comments?post=25139"}],"version-history":[{"count":3,"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/posts\/25139\/revisions"}],"predecessor-version":[{"id":25143,"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/posts\/25139\/revisions\/25143"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/media\/25140"}],"wp:attachment":[{"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/media?parent=25139"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/categories?post=25139"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/atalnetworks.com\/es\/wp-json\/wp\/v2\/tags?post=25139"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}