Hadoop Desarrolle fácilmente aplicaciones que sean capaces de procesar grandes cantidades de datos
Descargar ahora

Hadoop Clasificación y resumen

Hadoop Etiquetas

proceso desarrollar procesador de datos desarrollo de clústeres grupo desarrollo de mapas

Hadoop Descripción

Desarrolle fácilmente aplicaciones que sean capaces de procesar grandes cantidades de datos. HADOOP es una plataforma de software que permite que se escriba y ejecute fácilmente las aplicaciones que procesen grandes cantidades de datos. Implementos de Faderoop MapReduce, utilizando el sistema de archivos distribuido de Hadoop (HDFS). MapReduce dividirá sus aplicaciones en muchos bloques pequeños de trabajo. LosHDFS crean réplicas múltiples de bloques de datos para la confiabilidad, colocándolos en los nodos de cómputo alrededor del clúster. MapReduce puede procesar los datos donde se encuentra. Se ha demostrado que se ha demostrado en grupos con ganglios 2000. El objetivo de diseño actual es de 10,000 grupos de nodos. Aquí hay algunas características clave de "Hadoop": · Escalable: Hadoop puede almacenar de manera confiable y procesar petabytes. · Económico: distribuye los datos y el procesamiento a través de grupos de computadoras comúnmente disponibles. Estos grupos pueden numerar en los miles de nodos. · Eficiente: al distribuir los datos, Hadoop puede procesarlo en paralelo a los nodos donde se encuentran los datos. Esto lo hace extremadamente rápido. · Confiable: Hadoop mantiene automáticamente las múltiples copias de los datos y redistribuye automáticamente las tareas de computación según las fallas. ¿Qué hay de nuevo en este lanzamiento: · Sub-tarea · - Retire la dependencia de los bienes comunes en los comunes-cli2 · Bicho · - El enlace API en Forrest Doc debería apuntar a la misma versión de Hadoop. · - HADOOP FS -HELP debe enumerar la información de ayuda detallada para los siguientes comandos: prueba, texto, cola, estadística y touchz · - Documentar la configuración de JobinitializationPoller en el Programador de capacidad Forrest Document. · - Documentar la funcionalidad de administración de memoria de la tarea del documento y la programación basada en la memoria del equipo de comunicación. · - Reducir el progreso de la tarea muestra> 100% cuando el tamaño total de las salidas del mapa (para un solo reductor) es alto · - BZIP2COMPRESION STORPUSTRUEÑO NULLPOINTEREXCE · : cuando el tamaño requerido para una ruta es -1, localdirallocator.getlocalpathforwrite falla con una excepción diskcheckerexception cuando el disco que selecciona es malo. · - La duración de la recuperación que se muestra en la página web de JobTracker es inexacta · - O.A.H.H.Mapred.merger No Manteniendo la compresión de mapas en archivos intermedios · - El trabajo se deja en estado de carrera después de un Killjob · - POSIBLE NPE EN CAPACIDADES DEL MEMORIGHTER · - TescaCapacidades está fallando las pruebas de Hudson para las últimas compilaciones · - No puede generar gridmix.jar en la versión ya compilada de Hadoop · - TestEPreciónPolicía. falla en java.net.bindexception · - Testmrserverports falla en java.net.bindexception · - HFTPFILESYSTEM.getchecksum (..) no funciona para los caminos con esquema y autoridad · - org.apache.hadoop.mapreduce.reducer no debe ser abstracto. · - CAMBIAR NAMENODE ARCHIVO CERRAR REGISTRO DE INFO · : el programador de capacidad no debe verificar si hay presencia de cola predeterminada mientras se inicia. · - Los trabajos fallidos durante la initalización laboral nunca se eliminan de la lista de espera de programadores de capacidad · - Actualizar la documentación de Capacidades de la compañía para reflejar los últimos cambios · - Errores encontrados en MrOutputTthread después de que la última llamada MAP / Reducir puede ir sin ser detectada · - DFS La tubería de escritura no detecta datos defectuosos correctamente en algunos casos (Hadoop-3339) · - Use la ruta absoluta para el Mapred.Local.Dir en MinimrCluster · - MAP / REDUCIDO NO EJECUTA TRABAJOS CON 0 MAPAS · - Matrículas MapRed muestra el recuento negativo de los mapas de espera y reduce · - testquecuecapacititisues.apache.org/jjira/browse/hadoop-op-6017] - Namenode y SecundardoNodeNode no se reinicia debido a los nombres de archivos anormales. · - Múltiples errores w / Hadoop Archives · - Mensaje de ayuda incompleto se muestra para las opciones de RM y RMR. · - Hadoop 0.20 Branch "Test-Patch" está roto · - No hay mensaje de error para eliminar el archivo o directorio que no existen. · - Fije a GenericoptionParser para tratar con '=' en el valor · Mejora · - Retire la pre-empción de la base de códigos del programador de capacidad · Nueva caracteristica · - Nuevo formato de archivo binario · - Métrica para mostrar el número de llamadas Fs.Exists (o Número de GetFileInfo) · - Manejo de basura con cuota

Hadoop Software relacionado