Математическая модель нейронной сети — это строгая формализация идеи обучения на данных через композицию параметризованных функций. В основе лежит понятие искусственного нейрона: он получает числовые признаки на вход, взвешивает их, суммирует и пропускает через нелинейную функцию. Если обозначить входной вектор x размерности d, веса w и смещение b, то выход одного нейрона запишем как y = φ(w·x + b), где φ — функция активации. Именно эта комбинация линейного преобразования и нелинейности позволяет строить гибкие аппроксиматоры, способные моделировать сложные зависимости в данных. В многослойных сетях выходы одних слоев становятся входами следующих, образуя композицию функций: f(x; θ) = f_L(...f_2(f_1(x; θ_1); θ_2)...; θ_L), где θ — совокупность всех параметров (весов и смещений).

Классическая точка входа — нейрон МакКаллока–Питтса и перцептрон. В простейшем варианте берется пороговая активация: φ(u) = 1, если u ≥ 0, и 0 иначе. Такой двоичный классификатор разделяет примеры линейной гиперплоскостью w·x + b = 0. Ограничение очевидно: нелинейные задачи (например, «исключающее ИЛИ») он не решает. Переход к многослойным перцептронам с гладкими нелинейностями (сигмоида, tanh, ReLU) снимает это ограничение. Важная теорема об универсальной аппроксимации утверждает: сеть с одним скрытым слоем и достаточным числом нейронов может приблизить любую непрерывную функцию на компактном множестве с любой точностью. На практике глубина и структура сети влияют на эффективность, стабильность и обобщающую способность.

Ключ к успешному обучению — корректный выбор функции активации. Популярные варианты: сигмоида σ(u) = 1/(1+exp(-u)) для вероятностной интерпретации в бинарной классификации; tanh(u), центрированная нелинейность, ускоряющая сходимость в некоторых случаях; ReLU(u) = max(0, u), обеспечивающая разреженную активацию и уменьшающая проблему затухающих градиентов; ее варианты Leaky ReLU, ELU, GELU размыкают «мертвые» нейроны. В многоклассовой классификации на выходном слое часто используется softmax, который превращает набор логитов z_k в вероятностное распределение p_k = exp(z_k)/sum_j exp(z_j). Этот слой удобно сочетается с кросс-энтропийной функцией потерь.

Чтобы увидеть математику в действии, рассмотрим простой численный пример однослойного перцептрона. Пусть x = (2, -1, 0.5), веса w = (0.6, -0.2, 0.1), смещение b = 0.05. Линейная часть: u = w·x + b = 0.6*2 + (-0.2)*(-1) + 0.1*0.5 + 0.05 = 1.2 + 0.2 + 0.05 + 0.05 = 1.5. Для бинарной задачи с сигмоидой получаем y = σ(1.5) ≈ 0.817. Если порог 0.5, модель предсказывает класс 1. Этот шаг — прямое распространение (forward pass). В многослойной сети этот процесс повторяется: каждый слой выполняет операцию z^(l) = W^(l) a^(l-1) + b^(l), a^(l) = φ(z^(l)). Векторно-матричный формат важен: он определяет размеры тензоров и влияет на эффективность вычислений.

Чтобы настроить параметры θ, минимизируется функция потерь. В регрессии часто используют среднеквадратичную ошибку: L = (1/n) sum_i ||y_i - ŷ_i||^2. В классификации — кросс-энтропию: L = -(1/n) sum_i sum_k y_{ik} log p_{ik}. Интерпретация вероятностна: softmax с кросс-энтропией эквивалентен максимизации правдоподобия мультиномиального распределения; для бинарного случая сигмоида с логистической потерей сводится к логистической регрессии, где один нейрон моделирует Bernoulli. Оптимизация выполняется с помощью градиентного спуска и его вариантов. Обобщенная схема: θ ← θ - η ∇_θ L(θ), где η — шаг обучения. Чтобы посчитать градиенты для всех слоев, применяется алгоритм обратного распространения ошибки (backpropagation), основанный на правиле цепочки.

Поясним, как работает backpropagation на примере одного скрытого слоя. Пусть вход x, скрытый слой: z^1 = W^1 x + b^1, a^1 = φ(z^1); выход: z^2 = W^2 a^1 + b^2, p = softmax(z^2). Потеря — кросс-энтропия L = -sum_k y_k log p_k. Градиент на выходе: ∂L/∂z^2 = p - y (полезное упрощение для softmax+CE). Далее переносим чувствительность на предыдущий слой: ∂L/∂a^1 = (W^2)^T (p - y). Учитываем производную активации: ∂L/∂z^1 = (∂L/∂a^1) ∘ φ'(z^1), где ∘ — покомпонентное произведение. Наконец, производные по параметрам: ∂L/∂W^2 = (p - y) (a^1)^T, ∂L/∂b^2 = p - y; ∂L/∂W^1 = (∂L/∂z^1) x^T, ∂L/∂b^1 = ∂L/∂z^1. Каждый шаг выглядит как перемножение тензоров и применение простых производных. Этот алгоритм эффективен потому, что выполняет повторное использование промежуточных величин прямого прохода.

Для устойчивого обучения важны инициализация и масштабирование признаков. Если веса слишком маленькие или большие, градиенты могут затухать или взрываться, особенно в глубоких сетях. Практика выработала стратегии: инициализация Хавьера (Glorot) с дисперсией, зависящей от числа входов и выходов слоя, для сигмоид и tanh; инициализация Хе для ReLU-подобных активаций. Нормализация входных данных (стандартизация) и методы внутри сети, такие как батч-нормализация и слой-нормализация, стабилизируют распределение активаций и ускоряют сходимость.

Рассмотрим кратко основные архитектуры как математические модели с особыми гипотезами.

• Полносвязные (MLP): последовательные линейные отображения с нелинейностями. Хороши как универсальные аппроксиматоры, но плохо масштабируются на структурированные данные (изображения, последовательности) из-за большого числа параметров.
• Сверточные сети (CNN): заменяют матрицу W сверткой на локальные ядра. Операция — скользящее линейное сочетание соседних пикселей/временных шагов, за которым следуют нелинейность и агрегация (пулинг). Параметрическая экономия достигается совместным использованием весов. Модель получает свойство транслЯционной эквивариантности: сдвиг входа сдвигает карту признаков.
• Рекуррентные сети (RNN): вводят динамику состояния h_t = φ(W_x x_t + W_h h_{t-1} + b). Такая модель учитывает контекст в последовательности. Проблема — затухающие/взрывающиеся градиенты при длинных зависимостях; решения — LSTM и GRU с управляющими «воротами», которые контролируют поток градиента и памяти.
• Механизм внимания и трансформеры: моделируют взаимодействия через веса внимания α_{ij}, вычисляемые как нормализованные скалярные произведения запросов и ключей. Обновление состоит в взвешенной сумме значений. Математически это обучаемый оператор самосоответствий, который заменяет рекуррентность на параллельные операции и эффективно захватывает долгие зависимости.

Оптимизация редко ограничивается простым градиентным спуском. Используются адаптивные алгоритмы: Momentum сглаживает шум стохастических оценок; RMSProp и Adam масштабируют шаг по координатам в зависимости от исторической величины градиента; AdamW отделяет весовой декей от оценки момента, улучшая обобщение. Важные гиперпараметры — шаг обучения, размеры батча, коэффициенты моментов, регуляризация. На практике строят расписания шага (косинусное убывание, степенной спад, циклический шаг), что позволяет быстрее сходиться и избегать плохих локальных минимумов и «седловых» точек в неконвексном ландшафте.

Чтобы избежать переобучения, применяют регуляризацию. L2 (weight decay) добавляет к потере термин λ||W||^2, сдерживая рост параметров; L1 стимулирует разреженность; dropout случайно зануляет активации в обучении, заставляя сеть не полагаться на отдельные пути. Полезны ранняя остановка по метрике на валидации, label smoothing в многоклассовой классификации для устойчивости, аугментации данных (геометрические преобразования для изображений, маскирование токенов для текста). Важна корректная стратегия валидации и отсутствие утечки данных: разбиение на обучение, валидацию и тест должно отражать реальное распределение и сценарий применения.

С точки зрения теории обобщения, нейронная сеть — высокоёмкостная модель. Контролировать ее способность «запоминать» помогает баланс смещения и дисперсии. Глубокие сети обладают большой выразительностью, но правильные архитектурные ограничения (локальность свертки, внимание, остаточные связи) и регуляризация позволяют достигать хорошей общей ошибки. Хотя строгие оценки сложности (например, VC-измерение) для современных сетей громоздки, эмпирически критичны простые принципы: достаточный объем и разнообразие данных, согласованность предпосылок модели с природой задачи и разумная оптимизация.

Полезно понять, как выбор потерь и активаций определяет вероятностную интерпретацию. Для бинарной задачи сигмоида моделирует условную вероятность P(y=1|x), а логистическая потеря соответствует максимизации правдоподобия Бернулли. Softmax с кросс-энтропией моделирует категорики. В регрессии MSE соответствует допущению о гауссовском шуме с постоянной дисперсией. Если шум негауссовский или присутствуют выбросы, целесообразны устойчивые функции потерь (например, Huber), меняющие баланс между квадратичным и линейным штрафом.

Рассмотрим миниатюрный пример шага обучения с ручным градиентом. Пусть у нас один входной признак x=1.0, одна скрытая нейронная единица с ReLU и один выход с сигмоидой. Параметры: w1=0.5, b1=-0.1; w2=1.2, b2=0.0. Истинная метка y=1. Прямой проход: z1 = w1*x + b1 = 0.4; a1 = ReLU(z1) = 0.4; z2 = w2*a1 + b2 = 0.48; p = σ(z2) ≈ 0.6177. Потеря L = -log(p) ≈ 0.481. Обратный проход: dL/dz2 = p - y ≈ -0.3823; градиенты: dL/dw2 = (p - y)*a1 ≈ -0.1529, dL/db2 = -0.3823. Далее переносим чувствительность: dL/da1 = (p - y)*w2 ≈ -0.4588; dL/dz1 = dL/da1 * 1_{z1>0} = -0.4588 (ReLU' = 1 для z1>0). Градиенты по первому слою: dL/dw1 = dL/dz1 * x ≈ -0.4588; dL/db1 = -0.4588. Обновим параметры шагом η=0.1: w2 ← 1.2 - 0.1*(-0.1529) = 1.2153; b2 ← 0.0382; w1 ← 0.5 - 0.1*(-0.4588) = 0.5459; b1 ← -0.0541. После обновления следующий прямой проход даст более высокую вероятность класса 1. Этот пример демонстрирует механистику backprop: градиенты «текут» от выхода к входу, масштабируясь производными активаций.

Специальные слои обогащают математический репертуар. В CNN свертка реализует локальные линейные операторы, формально близкие к дискретным дифференциальным фильтрам; пулинг агрегирует статистику на окнах (максимум или среднее), обеспечивая инвариантность к небольшим сдвигам. В трансформерах внимание реализует взвешенное суммирование признаков с весами, зависящими от сходства запрос–ключ; масштабирование на корень из размерности стабилизирует градиенты. Остаточные связи добавляют вход слоя к его выходу, позволяя учить возмущения, а не целую функцию, что улучшает оптимизацию в очень глубоких сетях.

Реальные задачи диктуют дополнительные инженерные и математические штрихи. Для несбалансированных классов используют взвешенную кросс-энтропию или фокальную потерю, чтобы уделить больше внимания редким событиям. Для категориальных признаков эффективны эмбеддинги, то есть обучаемые векторы фиксированной размерности, которые линейно подаются в дальнейшие слои. В задаче регрессии целесообразно масштабировать таргеты, чтобы соответствовать диапазону активаций. При работе с последовательностями применяют маскирование, чтобы исключить влияние паддингов в усреднениях и внимании.

С вычислительной точки зрения сеть — это граф вычислений. Узлы — операции (линейные преобразования, нелинейности, свертки, нормализации), ребра — тензоры данных. Автоматическая дифференциация строит обратный граф, в котором по правилу цепочки систематически рассчитываются производные. Эффективность достигается за счет векторизации и повторного использования промежуточных результатов. Знание форм входов и выходов каждого слоя (размерности) — обязательный навык: ошибки часто возникают из-за несовпадения размерностей при матричных умножениях или свертках.

Отдельно стоит упомянуть стабильность обучения. На ранних этапах важно подобрать шаг обучения: слишком большой ведет к дивергенции, слишком маленький — к затяжной сходимости. Нормирование градиента, отсечение по норме (gradient clipping) предотвращает «взрывы» в RNN и трансформерах. Следует отслеживать динамику потерь и метрик, анализировать распределения активаций и градиентов. При возникновении «мертвых» нейронов ReLU помогает уменьшить шаг перед этим слоем или перейти на более мягкую нелинейность. Если наблюдается сильное переобучение, усилите регуляризацию, проверьте утечки, расширьте аугментации, используйте раннюю остановку.

Подытожим ключевые принципы, которые закрепляют математическое понимание нейросетей:

1. Сеть — композиция аффинных отображений и нелинейностей; выразительность растет с глубиной и правильными архитектурными предпосылками.
2. Обучение — минимизация функции потерь методом градиентного спуска с backpropagation; автом. дифференцирование реализует правило цепочки.
3. Функции активации и потерь задают как численную стабильность, так и вероятностный смысл предсказаний.
4. Инициализация, нормализации и расписания шага обучения критичны для сходимости и качества.
5. Регуляризация и корректная валидация — защита от переобучения, необходимая для хорошей обобщающей способности.
6. Архитектуры CNN, RNN, трансформеры вводят структурные гипотезы (локальность, память, внимание), улучшающие эффективность.

Освоение математических моделей нейронных сетей требует регулярной практики: выводите формулы градиентов для простых слоев, проверяйте размерности, проводите числовые эксперименты на игрушечных данных, изучайте влияние активаций и потерь. Постепенно вы начнете ощущать сеть как управляемый оператор, который из «сырого» признакового пространства строит многослойное представление, максимально информативное для конкретной целевой функции. Это и есть цель систематического подхода: не просто запускать готовые библиотеки, а понимать, почему модель работает, как она учится и что ограничивает ее возможности.