Framefields

Motor de video code-first y open source para la era de los agentes de IA

Open Source

Sobre Framefields

Framefields es un motor de video de alto rendimiento basado en WebGPU nativo para Node.js. Diseñado para agentes de IA y desarrolladores, reemplaza suites creativas pesadas con un solo paquete npm: motion graphics, efectos visuales nivel Photoshop, escenas 3D y procesamiento de audio. Sin dependencias de Chromium, renderiza video determinístico frame a frame y exporta MP4 acelerados por hardware directamente desde TypeScript.

¿Qué es Framefields?

Framefields es un motor de video programable que se instala como un paquete de npm y se controla desde TypeScript. En lugar de abrir una suite de edición, defines la composición en código —capas, tipografía, gráficos, escenas 3D, efectos y audio— y el motor la renderiza en la GPU mediante WebGPU, exportando directamente a MP4 sin necesidad de un navegador headless ni de aplicaciones de escritorio.

Su planteamiento está pensado para flujos de trabajo con agentes de programación: el proyecto ofrece instalación como plugin en Claude Code y como skills para Codex, Cursor, Gemini CLI y otros entornos, de modo que el agente pueda escribir la composición, revisar los fotogramas resultantes y volver a renderizar. Incluye además un reproductor WebGPU local para previsualizar, avanzar cuadro a cuadro y dejar notas sobre la imagen.

El render es determinista y se basa en el número de fotograma en lugar de en temporizadores de reloj, lo que evita desincronizaciones entre ejecuciones. Según el sitio del proyecto, una secuencia de 255 fotogramas a 1920×1080 se renderizó en 2,6 segundos en un Apple M1 Pro con la versión 2.1.1. Framefields se publica bajo licencia Apache-2.0 y está desarrollado por Gatewai; la versión 2.2 se encuentra en beta.

Características principales de Framefields

Tipografía resuelta por píxel en la GPU a partir de contornos de glifos, con animación letra a letra mediante selectores al estilo After Effects y temporización de máquina de escribir.
Escenas 3D integradas en el mismo fotograma, con cámara alineada 1:1 con los píxeles 2D, materiales PBR, iluminación basada en imagen, sombras, bloom, oclusión ambiental y modelos OBJ, FBX, glTF, STL, PLY y VOX.
Más de 50 efectos visuales, entre ellos curvas, niveles, color selectivo, LUT 3D, semitonos, grano de película, deformación de malla, liquify, cristal, máscaras de seguimiento y transiciones.
Visión por computadora en el dispositivo vía ONNX, con detección, segmentación, pose y recorte de personas para fijar gráficos a un objeto rastreado o reencuadrar de 16:9 a 9:16.
Audio sincronizado al mismo reloj: pistas colocadas al fotograma, efectos procedurales sobre una rejilla de ritmo y señales de audio que pueden controlar cualquier propiedad.
Gráficos de línea, barras, dispersión, velas y pastel como capas normales, además de composición de archivos Lottie y dotLottie en la GPU.

¿Para quién es Framefields?

Está dirigido a desarrolladores que generan video de forma programática desde Node.js y TypeScript, y a quienes trabajan con agentes de programación (Claude Code, Codex, Cursor, Gemini CLI) y quieren que el agente produzca y verifique piezas de video por sí mismo. También puede interesar a equipos que hoy renderizan video capturando un navegador headless y buscan menos consumo de memoria, mayor control sobre el tiempo y efectos, 3D y visión incluidos en el mismo paquete.

Casos de uso

Pedirle a un agente de programación que escriba una animación en TypeScript, revise los fotogramas generados y entregue el MP4 final.
Generar motion graphics con tipografía animada y gráficos de datos para piezas de producto o reportes periódicos.
Rastrear a una persona en un clip para recortarla, fijarle gráficos encima o reencuadrar el video de 16:9 a 9:16 para formatos verticales.
Añadir pruebas automatizadas de animación en Vitest para detectar cambios no deseados en easing o transiciones entre versiones.

Precio de Framefields

Framefields es open source bajo licencia Apache-2.0 y se distribuye como paquete de npm, sin precios publicados.

¿Framefields está disponible en español?

Sin confirmarEl sitio y la documentación están en inglés y no se menciona una versión en español; al tratarse de una librería que se usa desde código, el idioma de la interfaz no es un factor determinante, pero conviene manejar inglés técnico.

Preguntas frecuentes sobre Framefields

¿Necesito un navegador headless o alguna aplicación de escritorio?: No: Framefields renderiza directamente a una textura de GPU desde Node.js, sin Chromium ni software de edición. Según el proyecto, el consumo de memoria por worker es de 200-400 MB frente a los 2-4 GB típicos de Chromium headless.
¿Cómo lo integro con mi agente de programación?: En Claude Code se instala con /plugin install framefields, y en Codex, Cursor, Gemini CLI y otros entornos con npx skills add gatewai-dev/framefields.
¿El resultado es reproducible entre ejecuciones?: Sí: la temporización se basa en el número de fotograma en lugar de temporizadores de reloj, lo que evita la deriva y produce un render determinista.
¿En qué estado de madurez está el proyecto?: La versión 2.2 está marcada como beta y el proyecto es mantenido por Gatewai, con repositorio en GitHub, paquete en npm, blog, Discord y ejemplos de películas completas publicadas en YouTube.