Cerdo Un entorno de programación de flujo de datos para procesar archivos muy grandes
Descargar ahora

Cerdo Clasificación y resumen

Cerdo Etiquetas

analizar proceso entorno de programación dataset Analizador de dataset procesador de conjunto de datos

Cerdo Descripción

Un entorno de programación de flujo de datos para procesar archivos muy grandes. Pig es una fuente abierta y una plataforma gratuita para analizar grandes conjuntos de datos que consiste en un lenguaje de alto nivel para expresar programas de análisis de datos, junto con la infraestructura para evaluar estos programas. La propiedad destacada de los programas de cerdo es que su estructura está susceptible de una paralelización sustancial, que a su vez les permite manejar conjuntos de datos muy grandes. El tiempo presente, la capa de infraestructura de cerdo consiste en un compilador que produce secuencias de programas de map-reducido, para qué implementaciones paralelas a gran escala ya existen (por ejemplo, el subproyecto de Hadoop). La capa de idioma de Pig actualmente consiste en un lenguaje textual llamado PIG Latin, que tiene las siguientes propiedades clave: · Facilidad de programación. Es trivial lograr la ejecución paralela de tareas de análisis de datos simples, "vergonzosamente paralelas". Las tareas complejas compuestas de múltiples transformaciones de datos interrelacionadas se codifican explícitamente como secuencias de flujo de datos, lo que lo hace fáciles de escribir, comprender y mantener. · Oportunidades de optimización. La forma en que las tareas se codifican permite que el sistema optimice su ejecución automáticamente, lo que permite al usuario centrarse en la semántica en lugar de la eficiencia. · Extensibilidad. Los usuarios pueden crear sus propias funciones para realizar el procesamiento de propósito especial. Requisitos: · Java 1.6.x o posterior · Hormiga · Hadoop 0.18.x ¿Qué hay de nuevo en este lanzamiento: · El enfoque principal de esta versión es el soporte de multilaterías que permite optimizar múltiples consultas dentro del mismo script que comparten un cálculo.

Cerdo Software relacionado