Blog

Noticias

Lanzamiento de PGSpider 3.0.0, motor de clústeres SQL de alto rendimiento

Acabamos de lanzar PGSpider v3.0.0.

PGSpider es un motor de clúster SQL de alto rendimiento para macrodatos distribuidos.

Puede acceder a una serie de fuentes de datos utilizando el conector de datos externos (FDW) y recuperar la fuente de datos distribuida verticalmente. 

PGSpider se utiliza de la misma manera que PostgreSQL. Es posible utilizar cualquier aplicación cliente como libpq y psql. 

Esta versión introduce mejoras para los siguientes elementos:

  • Basado en PostgreSQL 15.0
  • Permite modificar una tabla multi-tenant
  • Permite el pushdown de combinaciones de cláusulas SQL: JOIN, WHERE, agregados, ORDER BY y LIMIT|OFFSET
  • Comando MULTI TENANT avanzado
  • Medición del rendimiento de PGSpider avanzada

PGSpider soporta las siguientes características: 

Multi-Tenant : 

El usuario puede obtener fácilmente los registros de varias tablas con un solo SQL. Si existen tablas con esquemas similares en cada fuente de datos, PGSpider puede visualizarlas como una única tabla virtual que denominamos tabla Multi-Tenant. 

En cuanto a una inserción para Multi-tenant, los datos se insertan en la primera fuente de datos encontrada (esta especificación será mejorada). 

Procesamiento paralelo: 

PGSpider ejecuta las consultas y obtiene los resultados de los nodos hijos en paralelo. 

PGSpider extiende la tabla Multi-Tenant a las tablas hijas creando nuevos procesos que permiten a cada tabla hija acceder a la fuente de datos correspondiente.

Pushdown : 

Pushdown de la cláusula WHERE, de las funciones de agregado y de la función SQL de la lista de destino a los nodos hijos. 

El pushdown a las tablas multi-tenant producía un error al utilizar AVG, STDDEV y VARIANCE. PGSpider corrige este error, permitiendo ejecutarlas. También es posible el pushdown de JOIN si todas las tablas de una consulta se encuentran en una única fuente de datos. 

Desarrollado por el Centro de Tecnología e Ingeniería de Software de Toshiba.