1
Problemas introductorios
Modelos de juguete (agua en un tanque, regresión lineal, la «fábrica de cócteles») que motivan neuronas, pesos y funciones de costo.
Notas
Un recorrido matemático por las redes neuronales: desde la neurona y el perceptrón, pasando por funciones de costo, descenso de gradiente y backpropagation, hasta los teoremas de aproximación universal y la clasificación. Cada capítulo termina con ejercicios.
Notas completas (PDF) · Fuentes LaTeX
Las notas son una traducción y adaptación de partes de O. Calin, Deep Learning Architectures. A Mathematical Approach (Springer, 2020), con correcciones, convenciones y figuras propias. No se reclama autoría sobre el contenido del libro.
Capítulos
2
Funciones de activación
Heaviside, signo, logística, tanh, ReLU, softplus, SiLU y sus derivadas (también en sentido de distribuciones).
3
Funciones de costo
Costos cuadrático, L¹ y entropía cruzada; regularización, errores de entrenamiento y test, significado geométrico.
4
Algoritmos de minimización
Propiedades de los mínimos, descenso de gradiente, tasas de convergencia y búsqueda estocástica.
5
Neuronas abstractas
Perceptrón, neurona sigmoide, regresión logística, neuronas lineales y de entrada continua.
6
Redes neuronales
Redes generales, backpropagation e inicialización de pesos.
7
Teoremas de aproximación
Dini, Arzelà–Ascoli, Stone–Weierstrass, teoremas tauberianos de Wiener y principio de contracción.
8
Aprendizaje con entradas unidimensionales
Aproximación en dimensión uno con perceptrones, sigmoides, ReLU y softplus.
9
Aproximadores universales
Planteo general, redes de una capa oculta y aprendizaje de soluciones de EDOs.
10
Clasificación
Entropía de una partición, funciones de decisión, separabilidad lineal y convexa, aprendizaje de mapas de decisión.
Cuadernos
Cada cuaderno contiene una Parte A de ejercicios teóricos (con LaTeX) y una Parte B computacional. Los primeros seis usan sólo NumPy; los últimos incorporan PyTorch. Colab no requiere instalación, pero sí una cuenta de Google.
1
Neuronas, perceptrón y activaciones
2
Funciones de costo y regresión lineal
3
Descenso de gradiente
4
Neurona sigmoidea y regresión logística
5
Backpropagation desde cero
6
Inicialización y gradientes que se desvanecen
7
PyTorch: autograd y entrenamiento
8
Teoremas de aproximación y aproximadores universales
9
Clasificación: softmax y generalización
Cómo usar el material
Se recomienda seguir los capítulos en orden: leer las notas, resolver la Parte A del cuaderno correspondiente y luego completar la Parte B (las celdas TODO son para completar).
Si encontrás un error o tenés una sugerencia, abrí un issue o un pull request en el repositorio, o escribí a jfbonder@dm.uba.ar.