Dockerfile-Spark

Dockerfile

Recopilando: Docker puede crear imágenes automáticamente leyendo las instrucciones de un archivo (Dockerfile) es un documento de texto que contiene todos los comandos que un usuario puede llamar en la línea de comandos para ensamblar una imagen. Los docker build usuarios pueden crear una compilación automatizada que ejecute varias instrucciones de línea de comandos en sucesión.

-. El dockerfile lo creare con nano que es un editor que trae ubuntu (se pude usar el que queramos) el testo es el siguiente cortar y pegar en el editor y posteriormente generamos la images con docker build.

Creamos un archivo dockerfile con nano :

  1. In: root@juan-Aspire-ES1-512:/my-dockerfile# nano dockerfile

# Cargamos la imagen base ubuntu-python-pip y Nombre del autor

FROM ubuntu-python-pip:latest

MAINTAINER Juan-Ma

# Deshabilitar el modo interactivo

ENV DEBIAN_FRONTEND=noninteractive

# Instalar las dependencias(Java, Python3 y Nano)

RUN apt update && apt install -y openjdk-8-jdk curl nano

CMD /bin/bash

# Lo descargamos

RUN curl -O https://archive.apache.org/dist/spark/spark-3.1.1/spark-3.1.1-bin-hadoop3.2.tgz && \

tar -xzvf spark-3.1.1-bin-hadoop3.2.tgz && \

mv spark-3.1.1-bin-hadoop3.2/ /opt/spark && \

rm spark-3.1.1-bin-hadoop3.2.tgz

# Establecer entorno de Spark

ENV SPARK_HOME=/opt/spark

ENV PATH=$SPARK_HOME/bin:$PATH

EXPOSE 4040 6066 7077 7078 8080 8081

Creamos la images base-spark-hadoop:latest :

  1. In: root@juan-Aspire-ES1-512:/my-dockerfile# docker build . -t base-spark-hadoop:latest

Listar las images :

  1. In: root@juan-Aspire-ES1-512:/# docker images
  2. Out: base-spark-hadoop latest f4e1f006f12e 14 hours ago 1.13GB

 

Recopilado:

Tenemos todos los comandos comentados del construcción del Dockerfile su creación con nano y posteriormente con docker build, generamos la images base-spark-hadoop:latest.

Referencias: Entorno-Moreluz.