Paquete de software plataforma de desarrollo VectorBlox™ Accelerator SDK

de conversiónde programaciónde conversión de datos

Resumen

• El SDK acelerador VectorBlox™ proporciona un motor de inferencia por software optimizado para los FPGAs Microchip PolarFire® y PolarFire SoC, centrado en la inferencia CNN eficiente en consumo y en pipelines de vídeo.
• Capacidades clave: despliegue por software sin reprogramar el FPGA, soporte para redes escasas (compresión estructurada y no estructurada) y ajustes configurables entre rendimiento y consumo.

Compresión y eficiencia de memoria
El SDK (VectorBlox 3.x) reduce el uso de memoria y el movimiento de datos mediante técnicas de compresión estructurada y no estructurada. La compresión estructurada se dirige a datos con disposición regular (pesos, activaciones, mapas de características) permitiendo una descompresión determinista y de bajo coste en hardware. La compresión no estructurada almacena solo los valores no nulos con índices para soportar patrones de datos escasos o irregulares, permitiendo modelos mayores o datos de mayor resolución dentro de restricciones fijas de memoria/anchura de banda en sistemas edge.

Soporte de modelos IA y cadena de herramientas

• Amplio soporte de frameworks: TensorFlow, TensorFlow Lite, ONNX y OpenVINO.
• Incluye herramientas de cuantización y conversión para transformar modelos FP32 a INT8 y preparar modelos para el runtime de VectorBlox.
• Las herramientas de compilación generan binarios y pesos; los activos de runtime se almacenan en memoria no volátil (normalmente SPI Flash) y se cargan en DDR al arrancar para la ejecución.

CoreVectorBlox IP y arquitectura
El CoreVectorBlox IP ofrece una arquitectura de acelerador configurable con características como:

• Múltiples configuraciones de tamaño para ajustarse a requisitos de aplicación/rendimiento.
• Arquitectura overlay para soportar varias redes en un único núcleo con conmutación dinámica.
• Interfaz maestro de memoria AXI4 configurable (64 a 256 bits) y AXI4-Lite para control/estado.
• Arquitectura basada en memoria con soporte de entrada/salida mapeada en memoria.
• Procesador vectorial interno para redes neuronales generales y un acelerador CNN dedicado para capas convolucionales.

Diseño de referencia y pipeline de vídeo
El diseño de referencia PolarFire SoC para evaluación integra pipelines de cámara y vídeo que incluyen entrada de cámara MIPI CSI-2, entrada HDMI, un pipeline de procesamiento de imagen (ISP), el motor AI VectorBlox y salida HDMI para visualización de resultados. El SDK admite prototipado rápido usando CNNs preoptimizadas y herramientas de simulación para evaluación antes del despliegue.

Consumo y despliegue en edge
La solución está orientada a aplicaciones edge/embebidas de bajo consumo, con inferencia y pipelines de vídeo eficientes en energía reportadas por debajo de 5 W en configuraciones evaluadas. La configurabilidad permite equilibrar el rendimiento y el consumo energético para casos de uso específicos.

Primeros pasos (nivel alto)

• Paso 1: Instale el SDK VectorBlox™ y consulte el Programmer's Guide y la documentación incluida.
• Paso 2: Convierta y cuantice su CNN con las herramientas/tutoriales proporcionados para preparar modelos INT8 para el SDK.
• Paso 3: Evalúe usando el PolarFire SoC Video Kit (diseño de referencia disponible) para validar pipelines de cámara/ISP/IA en el hardware objetivo.
• Paso 4: Instale el Libero® SoC Design Suite para ver o reconstruir componentes del diseño de referencia.
• Paso 5: Genere y fusione las licencias Libero y CoreVectorBlox requeridas según la guía quick-start de Libero antes de las compilaciones finales de hardware.

Flujo de demostración y despliegue
El flujo de desarrollo incluye la preparación de modelos entrenados (cuantización y compresión), compilación a binarios y pesos VectorBlox, almacenamiento de activos en SPI Flash y carga en DDR en tiempo de ejecución. El SDK soporta mappings conscientes de sparsity para explotar directamente la esparsidad de la red en hardware FPGA y mejorar el rendimiento.

Características / especificaciones técnicas

• Dispositivos soportados: FPGAs PolarFire® y PolarFire SoC FPGAs.
• Frameworks IA soportados: TensorFlow, TensorFlow Lite, ONNX, OpenVINO.
• Cuantización: herramientas de conversión FP32 -> INT8 incluidas.
• Compresión: compresión estructurada y no estructurada para pesos/activaciones/mapas de características; almacenamiento sparse de valores no nulos e índices.
• Interfaces: MIPI CSI-2 (cámara), HDMI entrada/salida, SPI Flash para almacenamiento no volátil, DDR para datos en tiempo de ejecución.
• Bus/Control: AXI4 maestro configurable (64–256 bit) e interfaz de control AXI4-Lite.
• Características IP: arquitectura overlay, procesador vectorial interno, acelerador CNN.
• Consumo típico evaluado: inferencia y pipelines de vídeo < 5 W (dependiente de la configuración).
• Hardware de referencia: PolarFire SoC Video Kit (diseño de referencia disponible para evaluación de cámara/ISP/AI).
• Herramienta de diseño requerida: Libero SoC Design Suite para reconstruir o inspeccionar componentes del diseño de referencia; pasos de fusión de licencias requeridos según la guía quick-start de Libero.