--- name: memory-data-audit description: "Audit memory retention, bounded concurrency, streaming, pagination and cache correctness for large datasets. Use for memory and bulk data reviews; distinguish measured leaks from static risks." --- # Especialista en memoria y datos masivos Lee [el contrato común](references/contract.md) antes de auditar; aplica después los controles siguientes. Consulta [fuentes](references/sources.md) para verificar las afirmaciones aplicables. Al exportar informes, lee [reporting](references/reporting.md), valida contra su [esquema](references/report.schema.json) y pasa el JSON por [su validador](scripts/validate_report.py) antes de entregar, usando la ruta absoluta de esa skill y `--repo `. ## Alcance y diagnóstico Descubre runtime, recolector, límite de proceso/contenedor, dataset, concurrencia y ciclo de vida. Distingue RSS, heap usado/reservado, buffers nativos, mmap y page cache; RSS alta por sí sola no demuestra fuga. Obtén por separado el límite del cgroup y el del runtime: un heap limit mayor que memory.max acaba en OOMKill sin excepción del lenguaje ni heap alto, y el page cache del batch también se carga al cgroup. Busca retención tras ciclos equivalentes y perfiles compatibles con el runtime. ## Controles y criterios - Datos masivos: traza materialización completa, copias, serialización, buffers y Promise.all o tareas sin límite. Streaming debe conservar backpressure end-to-end, incluidas etapas intermedias y consumidores lentos. Cuenta datos en vuelo, tamaño máximo de elemento, colas y concurrencia; “usar streams” no garantiza memoria acotada. En Node verifica el retorno de write y de push, el drain y la limpieza por error con pipeline o destroy: pipe sin manejo deja etapas vivas tras un fallo. - Retención: closures, listeners, timers, subscriptions, caches, referencias globales, buffers y recursos por petición. Examina limpieza en éxito, error, timeout y cancelación. Antes de concluir fuga descarta retención del allocator: heap estable con RSS que no vuelve apunta a fragmentación o arenas, no a objetos vivos. Distingue churn de asignación de fuga persistente; no uses GC forzado como cura. - Paginación: límite validado con máximo, orden total con desempate único, filtros/tenant en cursor y consulta, compatibilidad de dirección/NULLs, índice y semántica ante inserciones/borrados concurrentes. El keyset necesita contrato de snapshot o consistencia explícita; ninguna paginación sin snapshot elimina duplicados u omisiones entre páginas, tampoco OFFSET con orden total. OFFSET pequeño puede ser correcto; mide páginas profundas antes de exigir reemplazo. - Caché: claves incluyen tenant, usuario/permisos cuando aplique, filtros y versión; TTL más presupuesto de bytes/entradas y política de eviction, invalidación, consistencia, negative caching y stampede. Si usa Redis, verifica el presupuesto de dataset con maxmemory y su modo de fallo: cero no limita el dataset, noeviction rechaza nuevas escrituras, una política volatile sin TTLs se comporta igual, LRU y LFU son aproximados por muestreo y los buffers de replicación o AOF no cuentan contra maxmemory. Dimensiona el límite según los demás consumos y el entorno; no apliques opciones de Redis a una caché distinta. TTL solo no acota el pico si crecen cardinalidad o tasa. Evita que caché sirva autorizaciones revocadas; mide miss/hit con datos frescos y coste del origen. - Batches: límites por bytes y filas, checkpoints, reintento idempotente, cancelación y recuperación parcial. Reduce trabajo y copias antes de añadir infraestructura; incluye costos de coordinación e invalidación. ## Pruebas y métricas Mide pico RSS/heap, retained heap tras ciclos comparables, bytes por elemento, GC pause/CPU, concurrencia activa, cola, tamaño de caché, hit/miss/eviction y latencia por profundidad de página. Usa tamaños N crecientes y perfiles de skew, no sólo dataset uniforme. Para hipótesis de acotación, separa tamaño de batch del total; crecimiento esperado debe reflejar los buffers y elementos vivos reales. Node: perfila heap y memoria externa; un heap snapshot detiene el hilo y puede duplicar heap, por lo que sólo se toma de una instancia que pueda morir sin afectar disponibilidad y nunca desde un endpoint expuesto. Python: tracemalloc atribuye asignaciones rastreadas de Python, no todo RSS/nativo, ignora lo asignado antes de start y guarda una sola frame por defecto; arrancarlo tarde deja fuera las asignaciones previas; nframe=1 sigue rastreando las nuevas asignaciones, pero limita la atribución al frame más reciente. Aumenta nframe si necesitas la cadena de llamadas, considerando su coste de CPU y memoria. Go: heap reporta objetos vivos según el último GC y allocs las asignaciones pasadas, ambos muestreados; block y mutex no están activos por defecto y requieren SetBlockProfileRate o SetMutexProfileFraction, así que un perfil vacío no prueba ausencia de contención. Conserva artefactos redactados. Cada optimización debe mantener conjunto/orden de datos, límites y aislamiento; reporta memoria y corrección juntas.