Función de Pérdida

Reglas-Aprendizaje
juan

Nota: (Una función de pérdida, o Loss function, es una función que evalúa la desviación entre las predicciones realizadas por la red neuronal y los valores reales de las observaciones utilizadas durante el aprendizaje. Cuanto menor es el resultado de esta función, más eficiente es la red neuronal).

 

Que es Función de Pérdida

. Las máquinas aprenden mediante una Función-Pérdida. Es un método para evaluar qué tan bien un algoritmo específico modela los datos otorgados. Si las predicciones se desvían demasiado de los resultados reales, la Función-Pérdida en Deep-Learming arrojaría un número muy grande.

  • Una Función-Pérdidas hace referencia a la forma de encontrar las errores cometidos en el procesamiento de los datos, conseguirá que los resultados arrojados y sea mucho más reales, esto nos permiten encontrar automáticamente las características para afrontar el aprovechamiento de la gran cantidad de datos disponibles.
  • La Función-Pérdida, también denominada Función-Objetivo, nos dice, durante el proceso de entrenamiento de la Red, nos indica cuánto nos hemos equivocado con nuestras prediccioneslo, lo alejos que estámos en un momento dado, lo que la red nos ofrece como salida y el resultado que nosotros consideramos que es el correcto o deseado. El valor de la función de pérdida será luego un dato de entrada en el algoritmo de aprendizaje.
  • Dado que los algoritmos de aprendizaje como el descenso de gradiente, calculan la derivada de la función de pérdida, ésta debe ser una función continua y derivable.

Nota: Tenemos una gran variedad de Funciones de perdidas.

  • Error–Cuadrático–Medio MSE & ECM: Función que calcula la distancia geométrica al valor objetivo. La distancia geométrica es una forma de visualizarlo que nos orienta cuando pensamos en dos o tres dimensiones. Más allá de esas dimensiones, es sólo una forma de entenderlo. Pero en realidad es la distancia elevada al cuadrado. El ECM o MSE es una función de riesgo, correspondiente al valor esperado de la pérdida del error al cuadrado o pérdida cuadrática. La diferencia se produce debido a la aleatoriedad o porque el estimador no tiene en cuenta la información que podría producir una estimación más precisa. MSE se usar, en problemas de regresión a valores arbitrarios y con una última capa sin función de activación.
  • Entropía cruzada Categórica: la Entropía-Cruzada, en general, es una medida de la distancia entre distribuciones de probabilidad. La Entropía-Cruzada suele ser adecuada en modelos de redes cuya salida representa una probabilidad, como cuando hacemos una clasificación categórica con Función-Activación Softmax. En un problemas de clasificación categórica con una sola etiqueta de salida y precedida de una Función-Activación-Softmax. En teoría de la información, la Entropía-Cruzada entre dos distribuciones de probabilidad mide el número medio de bits necesarios para identificar un evento de un conjunto de posibilidades.
  • Entropía cruzada binaria: Una variante de la anterior pero en que tratamos con clasificación binaria y , la función de activación sería una sigmoide. Las características del Entropía-cruzada-binaria. Más difícil diferenciación y convergencia. Simétrica. Fácil de interpreta.
  • Entropía Cruzada Categórica Dispersa: Variante que se suele usar en el caso de trabajar con números enteros. Con entropía-cruzada-categórica-dispersa , con la que puede dejar los enteros como están y beneficiarse de la pérdida de entropía cruzada.

 

Referencias:

La Función-Pérdida es una función que relaciona un evento, un elemento de un espacio de muestreo, con un número real que representa el coste económico asociado con el evento.