Métodos Numéricos II 2021

Este curso es continuación de los temas estudiados en Métodos Numéricos 1. En esta materia, se estudian o revisan temas no introductorios de algoritmos para cálculo científico y aplicado y su implementación computacional. Se estudian tres grandes temas: (1) Álgebra lineal computacional, (2) Métodos numéricos para resolver EDO, y (3) Optimización numérica. La primera parte el curso se enfoca en temas sobre cálculo de autovalores y autovectores, y la solución eficiente de sistemas lineales. En el segundo bloque, haremos una introducción a los métodos numéricos para resolver ecuaciones diferenciales ordinarias (EDO), haciendo énfasis en métodos de la familia Runge-Kutta, y los métodos predictor-corrector. Si el tiempo lo permite, haremos una introducción a los métodos para resolver escuaciones diferenciales parciales (EDP). El bloque principal del curso introduce los temas de optimización numérica, principalmente los métodos de gradiente y punto interior. El curso culmina haciendo un estudio de la teoría de optimización restricta, particularmente programación lineal y programación cuadrática.

Importante!! El curso cuenta con una parte práctica extensiva, en la que el estudiante implementará en código computacional cada uno de los algoritmos estudiados. Parte fundamental del curso es utilizar las herramientas aprendidas en varios proyectos aplicados donde se trabajará con datos reales y comunicar los resultados mediante reportes técnicos y seminarios.

Prerrequisitos

Se recomienda que los estudiantes antes del curso estén habituados con los temas:

• Cálculo vectorial
• Álgebra lineal (teoría)
• Algunos elementos de análisis (convergencia de secuencias y series, análisis en Rn)
• Métodos numéricos para una variable (root finding, fitting, numerical differentiation and integration)
• Programación en Python.

Para aquellos estudiantes que consideren necesario un repaso de Python, sugiero seguir el libro
Q. Kong, T. Siauw, A. Bayen (2021). Python Programming and Numerical Methods - A Guide for Engineers and Scientists.
Caps 1-12, 14, (15 lo veremos en el curso) 16-21.

Programa del curso

Programa del curso

Horario

• Lunes de 19:50 a 21:25, Miércoles de 19:00 a 20:35.

Office Hours

• Viernes de 18:00 a 20:00.

Material del curso

No.	Fecha	Tópicos	Recursos
01	07.07.2021	Introducción al curso. Normas matriciales. Aula 01	Libro de Trefethen, Lecture 3.
02	12.07.2021	Descomposición espectral. Descomposición SVD. Aula 02	Libro de Trefethen, Lectures 4 y 5. defective.ipynb
03	14.07.2021	Condicionamiento. Estabilidad. Aula 03	Libro de Trefethen, Lectures 12, 13, 14 y 15.
L1	16.07.2021		Lista de ejercicios 1 Fecha de entrega: sábado 24 de julio.
04	19.07.2021	Eliminación gaussiana. Factoración LU y PA = LU. Pivoteo. Aula 04 Las notas de clase tienen muchos errores. Voy a subir una versión corregida al final de la semana.	Libro de Trefethen, Lectures 20, 21 y 22. gaussian-elimination.ipynb
05	21.07.2021	Factoración de Cholesky. Factoración LDL^T Aula 05	Libro de Trefethen, Lecture 23. cholesky.ipynb
06	26.07.2021	Métodos Iterativos para sistemas lineales. Aula 06	Libro de Quarteroni et al., Cap. 4. iterative.ipynb
07	28.07.2021	Descomposición QR. Aula 07	Libro de Trefethen, Lectures 6-8 y 10.
L2	29.07.2021		Lista de ejercicios 2 Fecha de entrega: domingo 08 de agosto.
08	02.08.2021	Cálculo de Autovalores. Método de las Potencias. Aula 08	Libro de Trefethen, Lecture 27.
09	04.08.2021	El método QR. Reducción a la forma de Hessemberg. Aula 09	Libro de Trefethen, Lectures 26 y 28.
10	09.08.2021	Espacios de Krylov. Método de Arnoldi. Método de Lanczos. Aula 10	Libro de Trefethen, Lectures 33, 34 y 36.
11	11.08.2021	Espacios de Krylov II: CG, MINRES, FOM, GMRES. Aula 11	Libro de Trefethen, Lectures 35 y 38.
12	11.08.2021	Matrices ralas. Aula 12
L3	15.08.2021	plane.jpg eagle.jpg falcon.jpg greece.jpg spclust.py spclust.ipynb	Lista de ejercicios 3 Fecha de entrega: jueves 26 de agosto.
13	16.08.2021	Fundamentos de Optimización. Derivadas vectoriales. Aula 13	Nocedal y Wright, Cap. 1.
14	18.08.2021	Fundamentos de Optimización II. Gradiente y Fórmula de Taylor. Aula 14	Nocedal y Wright, Cap. 1.
15	23.08.2021	Condiciones de Optimalidad. Aula 15	Nocedal y Wright, Cap. 1.
16	25.08.2021	Funciones Convexas. Aula 16	Boyd y Vandenberghe, Secciones 3.1 y 3.2.
17	30.08.2021	Descenso gradiente. Aula 17	Nocedal y Wright, Cap. 2.
L4	30.08.2021		Lista de ejercicios 4 Fecha de entrega: viernes 10 de septiembre.
18	01.09.2021	Optimización 1-dimensional. Descenso gradiente Cauchy y Newton.	Nocedal y Wright, Cap. 2.
19	06.09.2021	Búsqueda en Línea. Aula 19	Nocedal y Wright, Sección 3.1.
20	08.09.2021	Convergencia de descenso gradiente. Condición de Zoutendijk. Orden de convergencia. Aula 20	Falta añadir la parte de orden de convergencia.
L5	11.09.2021	Lista de ejercicios 5 Fecha de entrega: lunes 27 de septiembre.	yk.txt mnist.pkl.gz read_mnist.ipynb
21	20.09.2021	Dudas de la Lista 5.	Nocedal y Wright, Capítulo 3.
22	27.09.2021	Métodos de Región de Confianza. Aula 22	Nocedal y Wright, Sección 4.1.
23	29.09.2021	Punto de Cauchy. Método Dogleg. Aula 23	Método del Punto de Cauchy Método Dogleg
24	04.10.2021	Descenso Coordenado. Método de Gradiente Proyectado.	Nocedal y Wright, Secciones 4.5 y 9.3.
25	06.10.2021	Gradiente Conjugado lineal. Aula 25	Nocedal y Wright, Sección 5.1.
26	11.10.2021	Gradiente Conjugado no lineal: Fletcher-Reeves, Polak-Ribière, Hestenes-Stiefel. Aula 26	Nocedal y Wright, Sección 5.2.
27	13.10.2021	Métodos Cuasi-Newton: SR1, DFP, BFGS. Aula 27	Nocedal y Wright, Secciones 6.1 y 6.2.
L6	18.10.2021
28	18.10.2021	Mínimos Cuadrados. El método de Gauss-Newton. Aula 28	Nocedal y Wright, Sección 10.2.
29	25.10.2021	Mínimos Cuadrados Regularizados. El método de Levenberg-Marquardt.	Nocedal y Wright, Sección 10.3.
30	03.11.2021	Optimización sin Derivadas. Método de Nelder-Mead. Aula 30	Nocedal y Wright, Sección. 9.5.
31	08.11.2021	Optimización estocástica. Búsqueda local. Aula 31
32	10.11.2021	Optimización estocástica. Simulated Annealing. Aula 32
33	17.11.2021	Optimización estocástica. EDA: Estimation Distribution Algorithms. Aula 33
34	22.11.2021	Presentación de Seminarios.
35	24.11.2021	Presentación de Seminarios.

Proyectos

A continuación encontrarán sugerencias de tópicos para su proyecto de curso. Temas-proyecto

Temas presentados:

No.	Fecha	Conferencistas	Tópico
1	22.11.2021	Lorena Beltrán, Estuardo Menéndez	Optimización Estocástica: Gibbs Sampling. Presentación
2	22.11.2021	Javier Mejía, José López	El Problema del Traveling Salesman. Presentación
3	24.11.2021	Andrea Argüello, Ángel Cuellar	Gradiente estocástico: SGD, Adagrad, AdaMax. Presentación
4	24.11.2021	Leonel Contreras, José Lucha	Métodos de búsqueda local. Hill-climbing, Algoritmos Greedy. Presentación
5	24.11.2021	Karina Valladares, Rodrigo Morales	Algoritmos Evolutivos. Presentación

Referencias

Textos:

• L. Trefethen, L. Bau III (1997). Numerical Linear Algebra.

• J. Nocedal, S. Wright (2006). Numerical Optimization.

Referencias adicionales:

• G.. Golub, C. Van Loan (2012). Matrix Computations.

• A. Quarteroni, R. Sacco, F. Saleri (2000). Numerical Mathematics.

• J. Stoer, R. Bulirsch (2002). Introduction to Numerical Analysis.

• D. Griffiths, D. Higham (2010). Numerical Methods for Ordinary Differential Equations.

• J. C. Butcher (2016). Numerical Methods for Ordinary Differential Equations.

• D. Luenberger, Y. Ye (2016). Linear and Nonlinear Programming.

• A. Izmailov, M. Solodov (2014). Newton-type for Optimization and Variational Problems.

• S. Boyd, L. Vandenberghe (2009). Convex Optimization.

• C. Meyer (2001). Matrix Analysis and Applied Linear Algebra.

Referencias de Programación:

• Q. Kong, T. Siauw, A. Bayen (2021). Python Programming and Numerical Methods - A Guide for Engineers and Scientists.
  Web version

• A. Gezerlis (2020). Numerical Methods in Physics with Python.

• Jaan Kiusalaas (2013). Numerical Methods in Engineering with Python 3.

---