Cerdo Una plataforma para analizar grandes conjuntos de datos
Descargar ahora

Cerdo Clasificación y resumen

Cerdo Etiquetas

programación analizador datos analizador de datos evaluador de programas

Cerdo Descripción

Una plataforma para analizar grandes conjuntos de datos. Pig es un proyecto para analizar grandes conjuntos de datos que consiste en un lenguaje de alto nivel para expresar programas de análisis de datos, junto con la infraestructura para evaluar estos programas. La propiedad destacada de los programas de cerdo es que su estructura está susceptible de una paralelización sustancial, que a su vez les permite manejar conjuntos de datos muy grandes. El tiempo presente, la capa de infraestructura de cerdo consiste en un compilador que produce secuencias de programas de map-reducido, para qué implementaciones paralelas a gran escala ya existen (por ejemplo, el subproyecto de Hadoop). La capa de idioma de Pig actualmente consiste en un lenguaje textual llamado PIG Latin, que tiene las siguientes propiedades clave: * Facilidad de programación. Es trivial lograr la ejecución paralela de tareas de análisis de datos simples, "vergonzosamente paralelas". Las tareas complejas que comprenden de múltiples transformaciones de datos interrelacionadas se codifican explícitamente como secuencias de flujo de datos, lo que lo hace fáciles de escribir, comprender y mantener. * Oportunidades de optimización. La forma en que las tareas se codifican permite que el sistema optimice su ejecución automáticamente, lo que permite que el usuario se centre en la semántica en lugar de la eficiencia. * Extensibilidad. Los usuarios pueden crear sus propias funciones para realizar el procesamiento de propósito especial. ¿Qué hay de nuevo en este lanzamiento: · Esta versión incluye mejoras de rendimiento y uso de la memoria, agrega la interfaz del acumulador para UDFS, y contiene muchas correcciones de errores. · Esta versión funciona con Hadoop 0.20.

Cerdo Software relacionado