Архитектура высоких нагрузок
Михаил Михалев
Software Engineer в Amazon
31.03.2023 — 25.05.2023
На курсе вы узнаете, как мировые компании справляются с большим трафиком, научитесь выбирать и проектировать подходящие архитектурные решения под задачи бизнеса.
чтобы разрабатывать такой дизайн систем, который сможет легко масштабироваться, сохраняя компромисс между надежностью, ресурсами и временем.
чтобы понять, как крупные мировые компании справляются с высокой нагрузкой, разработать собственную Highload-архитектуру и научиться выбирать подходящие решения исходя из задач бизнеса.
чтобы получить фундаментальные знания в области системного дизайна, понять, какие технологии применять в той или иной ситуации, и оценивать затраты на реализацию сложных решений.
Как разрабатывать системы, которые смогут выдержать миллионы пользователей одновременно и при этом корректно работать, знает Михаил Михалев. Последние 5 лет он разрабатывает Highload-системы. Сейчас в Amazon, а до этого — в одном из крупнейших мировых сервисов по доставке еды Delivery Hero. На курсе Михаил поделится опытом и научит проектировать системы на старте так, чтобы они могли масштабироваться в любой момент и при этом корректно работать.
Вы получите фундаментальные знания в области системного дизайна, разберете кейсы известных компаний, научитесь применять и адаптировать современные Highload-практики. По итогу ― спроектируете собственную систему, которая выдержит трафик ≥ 1 млн пользователей ежедневно.
Узнаете, какие технологии лежат в основе масштабируемых и отказоустойчивых систем и как мировые компании справляются с высокой нагрузкой. Научитесь применять и адаптировать современные Highload-практики.
Научитесь принимать правильные решения по архитектуре фичи, компонента, сервиса или приложения в целом. Будете самостоятельно проектировать и разрабатывать системы, которые могут выдержать > 1 млн пользователей каждый день.
Сможете оптимизировать работу существующих систем на вашей текущей позиции и научитесь определять стоимость внедрения того или иного решения под задачи бизнеса.
Узнайте, что такое Highload и Data-Intensive Apps. Разберитесь в задачах, которые стоят перед архитектором высоконагруженных систем. Узнайте, с какими проблемами он сталкивается в своей работе. Ознакомьтесь с основными принципами, которые помогают выстроить систему from 0 to millions users. Научитесь делать грубые расчеты архитектуры приложений. Сделайте первый черновик Highload-дизайна.
Разберитесь в базовых терминах, которые применяют в Highload-архитектуре. Узнайте trade-offs высоконагруженных систем: как выбрать компромисс между надежностью, возможностью масштабироваться и быстро восстанавливаться после падения. Научитесь собирать и составлять требования к приложению.
Изучите глубинную разницу между форматами хранения и передачи данных [JSON/XML/Binary]. Ознакомьтесь с преимуществами и недостатками каждого подхода и научитесь выбирать подход исходя из своих задач и требований бизнеса.
Узнайте, как работает коммуникация приложения с внешним миром. Разберитесь в отличиях Load balancer. Ознакомьтесь с разными методами имплементации rate limiter. Научитесь выбирать оптимальный вариант коммуникации исходя из требований бизнеса. Напишите алгоритм rate limiter.
Ознакомьтесь с моделями передачи данных [Database-through model, Service-through model (REST/RPC), Message-passing model]. Узнайте о преимуществах и недостатках каждой модели. Научитесь выбирать модель исходя из конкретных требований.
Ознакомьтесь с моделями хранения данных [Relational model и document-based model]. Разберите разницу между declarative query languages и imperative query languages. Изучите жизненный цикл Database Management System [DBMS]. Ознакомьтесь с моделями графовых данных. Научитесь выбирать лучший вариант хранения данных исходя из требований бизнеса.
Узнайте, как устроены базы данных и в каком виде в них хранится информация. Найдите необходимую информацию с помощью индексов. Выберите оптимальный вариант DBMS исходя из требований бизнеса по хранению данных.
Узнайте, как нужно хранить данные для аналитики. Ознакомьтесь с алгоритмом построения Data Warehouse. Разберитесь в особенностях и отличиях Data Warehouse и Data Lake. Узнайте, какие факторы нужно учитывать при проектировании хранилища под big data и для чего нужны column-oriented storages. Напишите key-value хранилище данных исходя из требований.
Узнайте, для чего нужно распределять данные и какие проблемы решает такой подход. Узнайте также, какие проблемы могут возникнуть при таком подходе и научитесь их решать. Ознакомьтесь с САР-теоремой и научитесь выбирать наиболее подходящее решение по распределению исходя из требований.
Изучите основы репликации данных. Ознакомьтесь со стратегиями репликации [Multi-leader replication, Leaderless replication]. Изучите преимущества и недостатки каждой стратегии. Ознакомьтесь с примерами и готовыми решениями рынка, которые используют ту или иную стратегию.
Изучите основы секционирования и поймите, как оно связано с репликацией. Ознакомьтесь со стратегиями ребалансировки и готовыми решениями, которые применяют компании на практике. Продолжите работу с key-value data warehouse.
Узнайте, что такое ACID и зачем нужны Isolation levels. Разберитесь в особенностях каждого уровня и научитесь выбирать Isolation level исходя из требований бизнеса.
Узнайте, что такое целостность данных в контексте распределенных систем. Ознакомьтесь с типами целостности. На реальных примерах узнайте о преимуществах и недостатках каждого типа. Научитесь выбирать тип целостности данных исходя из требований бизнеса.
Узнайте, что такое консенсус в распределенных системах. Ознакомьтесь с популярными алгоритмами консенсуса [Paxos и Raft]. Поймите, как работают популярные распределенные хранилища данных с точки зрения консенсуса. Реализуйте выбранный тип консенсуса.
Изучите особенности работы пакетного режима и потокового режима. Ознакомьтесь с моделью MapReduce и узнайте, для каких задач ее применять. Получите информацию о различных Messaging systems, определите их преимущества и недостатки.
Разберитесь в понятиях [state], [stream] и [immutability]. Узнайте, что такое [event stream] и [event sourcing] и когда необходимо их применять. Добавьте event stream или event sourcing в ваш дизайн.
Узнайте, зачем нужен мониторинг, и научитесь грамотно настраивать оповещения. Разберитесь в метриках и узнайте, в чем отличие метрик от логов. Опишите метрики для одного из компонентов системы.