Научиться проектировать системы, в которых сеть ненадёжна, данные живут на нескольких узлах, а сбой — часть нормальной работы.
Проект полугодовой программы. Календарные даты, расписание и правила оценивания будут уточнены перед запуском.
Как устроены программы MIT, Cambridge, UW, ШАДа, ИТМО и CMU, чему учат их лабораторные и какие идеи пригодятся нашему курсу.
Читать сравнение курсовПервые пять месяцев — по две лекции и практика между занятиями. Шестой — сборка, эксперименты и защита итогового проекта.
Отказы и время
Лекции 01–02
Сеть и реплики
Лекции 03–04 · лаба 01
Консенсус и данные
Лекции 05–06 · лаба 02
Транзакции и события
Лекции 07–08 · лаба 03
Проверки и архитектура
Лекции 09–10
Эксперименты и защита
Лаба 04 · итоговый проект
У каждой темы — инженерный вопрос и конкретный результат. Раскройте лекцию, чтобы открыть слайды, пример и задание.
Модели отказов, задержки сети, частичные сбои и инварианты.
После лекции: Описать, что сервис обязан сохранять при сбое узла.
Физические и логические часы, причинность, часы Лэмпорта и векторные часы.
После лекции: Восстановить причинный порядок по журналам нескольких узлов.
RPC, тайм-ауты, повторные запросы, идемпотентность и обратное давление.
После лекции: Спроектировать API, устойчивый к потерянному ответу и повторной доставке.
Лидер и реплики, кворумы, модели согласованности, CAP и PACELC.
После лекции: Объяснить компромисс между доступностью, задержкой и согласованностью.
Raft, выбор лидера, реплицируемый журнал и границы отказоустойчивости.
После лекции: Разобрать смену лидера и поведение меньшинства при разделении сети.
Шардинг, выбор ключа, согласованное хеширование, горячие ключи и ребалансировка.
После лекции: Выбрать схему разделения данных и найти её узкие места.
Изоляция, двухфазная фиксация, саги, компенсации и шаблон outbox.
После лекции: Сохранить бизнес-инвариант без общей транзакции между сервисами.
Порядок сообщений, гарантии доставки, дедупликация и повторное чтение журнала.
После лекции: Спроектировать обработчик, безопасный при повторной доставке событий.
SLI/SLO, трассировка, нагрузочные эксперименты, инъекция отказов и восстановление.
После лекции: Проверить инварианты и измерить восстановление после сбоя.
Сборка системы целиком: требования, бюджет задержки, ограничения и цена надёжности.
После лекции: Защитить архитектуру сервиса на основе измерений и явных компромиссов.
Разрабатываем распределённый сервис задач: API принимает запросы, хранилище сохраняет состояние, очередь передаёт работу обработчикам. Каждая лабораторная добавляет новый слой и сценарий отказа.
Постройте API сервиса задач. Добавьте тайм-ауты, повторные запросы и ключи идемпотентности. Смоделируйте потерю ответа.
Повтор запроса не создаёт вторую задачу; тест воспроизводит потерянный ответ.
Что сдаём: API + тесты отказов
Методичка и запуск стендаПодключите реплицируемое хранилище с готовой реализацией консенсуса. Остановите лидера и разделите сеть.
Зафиксируйте доступность чтения и записи, сохранность подтверждённых данных и время восстановления.
Что сдаём: Кластер + протокол эксперимента
Методичка и запуск стендаДобавьте очередь и обработчики задач. Реализуйте outbox и дедупликацию, проверьте сбой между записью результата и подтверждением сообщения.
Повторная доставка не дублирует бизнес-эффект; незавершённая задача продолжает выполняться после перезапуска.
Что сдаём: Обработчики + проверка инвариантов
Методичка и запуск стендаСоберите сервис целиком, добавьте метрики и трассировку. Проведите нагрузочный эксперимент и сценарий отказа, защитите решения.
Воспроизводимый запуск, измеренные задержки и восстановление, документированные ограничения системы.
Что сдаём: Сервис + отчёт + защита
Методичка и запуск стендаК концу курса у студента будет работающий сервис и набор экспериментов, которые показывают его гарантии и ограничения.
Студентам, которые уже умеют писать приложения и хотят разобраться, что меняется при переходе от одного процесса к нескольким узлам.
Один язык программирования, основы HTTP и баз данных, Git и базовая работа с контейнерами. Специальный опыт распределённых систем не требуется.