diff --git a/.gitignore b/.gitignore index ce892922..132290e1 100644 --- a/.gitignore +++ b/.gitignore @@ -416,3 +416,9 @@ FodyWeavers.xsd *.msix *.msm *.msp + +vehicle-publish/ +publish/ +fileservice-publish/ + +*.zip \ No newline at end of file diff --git a/Client.Wasm/Components/StudentCard.razor b/Client.Wasm/Components/StudentCard.razor index 661f1181..e272049c 100644 --- a/Client.Wasm/Components/StudentCard.razor +++ b/Client.Wasm/Components/StudentCard.razor @@ -4,10 +4,10 @@ - Номер №X "Название лабораторной" - Вариант №Х "Название варианта" - Выполнена Фамилией Именем 65ХХ - Ссылка на форк + Номер №3 "Интеграционное тестирование" + Вариант №17 "Транспортное средство" + Выполнена Чукаревым Михаилом 6511 + Ссылка на форк diff --git a/Client.Wasm/Properties/launchSettings.json b/Client.Wasm/Properties/launchSettings.json index 0d824ea7..f08b1cea 100644 --- a/Client.Wasm/Properties/launchSettings.json +++ b/Client.Wasm/Properties/launchSettings.json @@ -12,7 +12,7 @@ "http": { "commandName": "Project", "dotnetRunMessages": true, - "launchBrowser": true, + "launchBrowser": false, "inspectUri": "{wsProtocol}://{url.hostname}:{url.port}/_framework/debug/ws-proxy?browser={browserInspectUri}", "applicationUrl": "http://localhost:5127", "environmentVariables": { @@ -22,7 +22,7 @@ "https": { "commandName": "Project", "dotnetRunMessages": true, - "launchBrowser": true, + "launchBrowser": false, "inspectUri": "{wsProtocol}://{url.hostname}:{url.port}/_framework/debug/ws-proxy?browser={browserInspectUri}", "applicationUrl": "https://localhost:7282;http://localhost:5127", "environmentVariables": { @@ -31,11 +31,11 @@ }, "IIS Express": { "commandName": "IISExpress", - "launchBrowser": true, + "launchBrowser": false, "inspectUri": "{wsProtocol}://{url.hostname}:{url.port}/_framework/debug/ws-proxy?browser={browserInspectUri}", "environmentVariables": { "ASPNETCORE_ENVIRONMENT": "Development" } } } -} +} \ No newline at end of file diff --git a/Client.Wasm/wwwroot/appsettings.json b/Client.Wasm/wwwroot/appsettings.json index d1fe7ab3..9ddf8f43 100644 --- a/Client.Wasm/wwwroot/appsettings.json +++ b/Client.Wasm/wwwroot/appsettings.json @@ -6,5 +6,6 @@ } }, "AllowedHosts": "*", - "BaseAddress": "" + "BaseAddress": "https://d5d8f72ecdh9lv3lpbli.z2ka767n.apigw.yandexcloud.net/api/vehicles" } + diff --git a/CloudDevelopment.sln b/CloudDevelopment.sln index cb48241d..516335e2 100644 --- a/CloudDevelopment.sln +++ b/CloudDevelopment.sln @@ -5,20 +5,143 @@ VisualStudioVersion = 17.14.36811.4 MinimumVisualStudioVersion = 10.0.40219.1 Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Client.Wasm", "Client.Wasm\Client.Wasm.csproj", "{AE7EEA74-2FE0-136F-D797-854FD87E022A}" EndProject +Project("{2150E333-8FDC-42A3-9474-1A3956D46DE8}") = "src", "src", "{827E0CD3-B72D-47B6-A68D-7590B98EB39B}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "ServiceDefaults", "src\ServiceDefaults\ServiceDefaults.csproj", "{207C1A03-203E-4804-854F-0B70D3B0226F}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "VehicleApi", "src\VehicleApi\VehicleApi.csproj", "{8C4738CB-0C2F-4664-9F35-62F27C0E5877}" +EndProject +Project("{2150E333-8FDC-42A3-9474-1A3956D46DE8}") = "tests", "tests", "{0AB3BF05-4346-4AA6-1389-037BE0695223}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "VehicleApi.Tests", "tests\VehicleApi.Tests\VehicleApi.Tests.csproj", "{E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "ApiGateway", "src\ApiGateway\ApiGateway.csproj", "{42CE0FED-8889-49C7-988A-E8E12D59DCA2}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "AppHost", "src\AppHost\AppHost.csproj", "{BD8774D8-8997-4902-B545-B6EEB3304A63}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "FileService", "src\FileService\FileService.csproj", "{E0EC95F2-7EB9-4055-886A-E96E2297F109}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Integration.Tests", "tests\Integration.Tests\Integration.Tests.csproj", "{AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}" +EndProject Global GlobalSection(SolutionConfigurationPlatforms) = preSolution Debug|Any CPU = Debug|Any CPU + Debug|x64 = Debug|x64 + Debug|x86 = Debug|x86 Release|Any CPU = Release|Any CPU + Release|x64 = Release|x64 + Release|x86 = Release|x86 EndGlobalSection GlobalSection(ProjectConfigurationPlatforms) = postSolution {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Debug|Any CPU.ActiveCfg = Debug|Any CPU {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Debug|Any CPU.Build.0 = Debug|Any CPU + {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Debug|x64.ActiveCfg = Debug|Any CPU + {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Debug|x64.Build.0 = Debug|Any CPU + {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Debug|x86.ActiveCfg = Debug|Any CPU + {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Debug|x86.Build.0 = Debug|Any CPU {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Release|Any CPU.ActiveCfg = Release|Any CPU {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Release|Any CPU.Build.0 = Release|Any CPU + {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Release|x64.ActiveCfg = Release|Any CPU + {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Release|x64.Build.0 = Release|Any CPU + {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Release|x86.ActiveCfg = Release|Any CPU + {AE7EEA74-2FE0-136F-D797-854FD87E022A}.Release|x86.Build.0 = Release|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Debug|Any CPU.Build.0 = Debug|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Debug|x64.ActiveCfg = Debug|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Debug|x64.Build.0 = Debug|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Debug|x86.ActiveCfg = Debug|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Debug|x86.Build.0 = Debug|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Release|Any CPU.ActiveCfg = Release|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Release|Any CPU.Build.0 = Release|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Release|x64.ActiveCfg = Release|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Release|x64.Build.0 = Release|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Release|x86.ActiveCfg = Release|Any CPU + {207C1A03-203E-4804-854F-0B70D3B0226F}.Release|x86.Build.0 = Release|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Debug|Any CPU.Build.0 = Debug|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Debug|x64.ActiveCfg = Debug|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Debug|x64.Build.0 = Debug|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Debug|x86.ActiveCfg = Debug|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Debug|x86.Build.0 = Debug|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Release|Any CPU.ActiveCfg = Release|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Release|Any CPU.Build.0 = Release|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Release|x64.ActiveCfg = Release|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Release|x64.Build.0 = Release|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Release|x86.ActiveCfg = Release|Any CPU + {8C4738CB-0C2F-4664-9F35-62F27C0E5877}.Release|x86.Build.0 = Release|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Debug|Any CPU.Build.0 = Debug|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Debug|x64.ActiveCfg = Debug|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Debug|x64.Build.0 = Debug|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Debug|x86.ActiveCfg = Debug|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Debug|x86.Build.0 = Debug|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Release|Any CPU.ActiveCfg = Release|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Release|Any CPU.Build.0 = Release|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Release|x64.ActiveCfg = Release|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Release|x64.Build.0 = Release|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Release|x86.ActiveCfg = Release|Any CPU + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B}.Release|x86.Build.0 = Release|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Debug|Any CPU.Build.0 = Debug|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Debug|x64.ActiveCfg = Debug|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Debug|x64.Build.0 = Debug|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Debug|x86.ActiveCfg = Debug|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Debug|x86.Build.0 = Debug|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Release|Any CPU.ActiveCfg = Release|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Release|Any CPU.Build.0 = Release|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Release|x64.ActiveCfg = Release|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Release|x64.Build.0 = Release|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Release|x86.ActiveCfg = Release|Any CPU + {42CE0FED-8889-49C7-988A-E8E12D59DCA2}.Release|x86.Build.0 = Release|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Debug|Any CPU.Build.0 = Debug|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Debug|x64.ActiveCfg = Debug|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Debug|x64.Build.0 = Debug|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Debug|x86.ActiveCfg = Debug|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Debug|x86.Build.0 = Debug|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Release|Any CPU.ActiveCfg = Release|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Release|Any CPU.Build.0 = Release|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Release|x64.ActiveCfg = Release|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Release|x64.Build.0 = Release|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Release|x86.ActiveCfg = Release|Any CPU + {BD8774D8-8997-4902-B545-B6EEB3304A63}.Release|x86.Build.0 = Release|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Debug|Any CPU.Build.0 = Debug|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Debug|x64.ActiveCfg = Debug|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Debug|x64.Build.0 = Debug|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Debug|x86.ActiveCfg = Debug|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Debug|x86.Build.0 = Debug|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Release|Any CPU.ActiveCfg = Release|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Release|Any CPU.Build.0 = Release|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Release|x64.ActiveCfg = Release|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Release|x64.Build.0 = Release|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Release|x86.ActiveCfg = Release|Any CPU + {E0EC95F2-7EB9-4055-886A-E96E2297F109}.Release|x86.Build.0 = Release|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Debug|Any CPU.Build.0 = Debug|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Debug|x64.ActiveCfg = Debug|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Debug|x64.Build.0 = Debug|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Debug|x86.ActiveCfg = Debug|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Debug|x86.Build.0 = Debug|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Release|Any CPU.ActiveCfg = Release|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Release|Any CPU.Build.0 = Release|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Release|x64.ActiveCfg = Release|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Release|x64.Build.0 = Release|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Release|x86.ActiveCfg = Release|Any CPU + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA}.Release|x86.Build.0 = Release|Any CPU EndGlobalSection GlobalSection(SolutionProperties) = preSolution HideSolutionNode = FALSE EndGlobalSection + GlobalSection(NestedProjects) = preSolution + {207C1A03-203E-4804-854F-0B70D3B0226F} = {827E0CD3-B72D-47B6-A68D-7590B98EB39B} + {8C4738CB-0C2F-4664-9F35-62F27C0E5877} = {827E0CD3-B72D-47B6-A68D-7590B98EB39B} + {E6CB2EEC-E2A0-449F-89DE-11AE5579B37B} = {0AB3BF05-4346-4AA6-1389-037BE0695223} + {42CE0FED-8889-49C7-988A-E8E12D59DCA2} = {827E0CD3-B72D-47B6-A68D-7590B98EB39B} + {BD8774D8-8997-4902-B545-B6EEB3304A63} = {827E0CD3-B72D-47B6-A68D-7590B98EB39B} + {E0EC95F2-7EB9-4055-886A-E96E2297F109} = {827E0CD3-B72D-47B6-A68D-7590B98EB39B} + {AA5B48F3-EF9D-405A-AE6C-F86D4BE9B2FA} = {0AB3BF05-4346-4AA6-1389-037BE0695223} + EndGlobalSection GlobalSection(ExtensibilityGlobals) = postSolution SolutionGuid = {90FE6B04-8381-437E-893A-FEBA1DA10AEE} EndGlobalSection diff --git a/README.md b/README.md index dcaa5eb7..c6a618f8 100644 --- a/README.md +++ b/README.md @@ -1,128 +1,239 @@ # Современные технологии разработки программного обеспечения -[Таблица с успеваемостью](https://docs.google.com/spreadsheets/d/1an43o-iqlq4V_kDtkr_y7DC221hY9qdhGPrpII27sH8/edit?usp=sharing) -## Задание -### Цель -Реализация проекта микросервисного бекенда. +**Вариант №17 — «Транспортное средство»** +**Выполнил:** Чукарев Михаил, группа 6511 -### Задачи -* Реализация межсервисной коммуникации, -* Изучение работы с брокерами сообщений, -* Изучение архитектурных паттернов, -* Изучение работы со средствами оркестрации на примере .NET Aspire, -* Повторение основ работы с системами контроля версий, -* Интеграционное тестирование. +## Лабораторная работа №4 — «Переход на облачную инфраструктуру» + +### Описание + +Все сервисы перенесены в Yandex Cloud. Клиент размещён в объектном хранилище, сервисы генерации и обработки файлов развёрнуты как Cloud Functions, очередь сообщений заменена на Yandex Message Queue, а маршрутизация реализована через Yandex API Gateway. + +### Что реализовано -### Лабораторные работы
-1. «Кэширование» - Реализация сервиса генерации контрактов, кэширование его ответов -
- -В рамках первой лабораторной работы необходимо: -* Реализовать сервис генерации контрактов на основе Bogus, -* Реализовать кеширование при помощи IDistributedCache и Redis, -* Реализовать структурное логирование сервиса генерации, -* Настроить оркестрацию Aspire. - +Клиент (Object Storage)
+
-2. «Балансировка нагрузки» - Реализация апи гейтвея, настройка его работы -
- -В рамках второй лабораторной работы необходимо: -* Настроить оркестрацию на запуск нескольких реплик сервиса генерации, -* Реализовать апи гейтвей на основе Ocelot, -* Имплементировать алгоритм балансировки нагрузки согласно варианту. +Брокер сообщений (LocalStack SQS → Yandex Message Queue) +
+ +- Создана стандартная очередь `vehicles` -
+
+
-3. «Интеграционное тестирование» - Реализация файлового сервиса и объектного хранилища, интеграционное тестирование бекенда -
+Объектное хранилище (MinIO → Object Storage) +
-В рамках третьей лабораторной работы необходимо: -* Добавить в оркестрацию объектное хранилище, -* Реализовать файловый сервис, сериализующий сгенерированные данные в файлы и сохраняющий их в объектном хранилище, -* Реализовать отправку генерируемых данных в файловый сервис посредством брокера, -* Реализовать интеграционные тесты, проверяющие корректность работы всех сервисов бекенда вместе. +- Создан приватный бакет `vehicles-storage` +- Minio SDK заменён на AWS S3 SDK с endpoint `storage.yandexcloud.net` +- JSON-файлы транспортных средств сохраняются автоматически при каждом запросе -
+
+
-4. (Опционально) «Переход на облачную инфраструктуру» - Перенос бекенда в Yandex Cloud -
- -В рамках четвертой лабораторной работы необходимо перенестиервисы на облако все ранее разработанные сервисы: -* Клиент - в хостинг через отдельный бакет Object Storage, -* Сервис генерации - в Cloud Function, -* Апи гейтвей - в Serverless Integration как API Gateway, -* Брокер сообщений - в Message Queue, -* Файловый сервис - в Cloud Function, -* Объектное хранилище - в отдельный бакет Object Storage, +Сервис генерации (VehicleApi → Cloud Function) +
+ +- Генерация данных через `VehicleGenerator` с детерминированным seed по `id` -
+
-## Задание. Общая часть -**Обязательно**: -* Реализация серверной части на [.NET 8](https://learn.microsoft.com/ru-ru/dotnet/core/whats-new/dotnet-8/overview). -* Оркестрация проектов при помощи [.NET Aspire](https://learn.microsoft.com/ru-ru/dotnet/aspire/get-started/aspire-overview). -* Реализация сервиса генерации данных при помощи [Bogus](https://github.com/bchavez/Bogus). -* Реализация тестов с использованием [xUnit](https://xunit.net/?tabs=cs). -* Создание минимальной документации к проекту: страница на GitHub с информацией о задании, скриншоты приложения и прочая информация. +
+Файловый сервис (FileService → Cloud Function + триггер YMQ) +
-**Факультативно**: -* Перенос бекенда на облачную инфраструктуру Yandex Cloud +- JSON сохраняется в бакет `vehicles-storage` через AWS S3 SDK -Внимательно прочитайте [дискуссии](https://github.com/itsecd/cloud-development/discussions/1) о том, как работает автоматическое распределение на ревью. -Сразу корректно называйте свои pr, чтобы они попали на ревью нужному преподавателю. +
+
-По итогу работы в семестре должна получиться следующая информационная система:
-C4 диаграмма -Современные_технологии_разработки_ПО_drawio +API Gateway (Ocelot → Yandex API Gateway) +
+ +- Создан шлюз `vehicle-gateway` на основе OpenAPI-спецификации +- Маршрут `GET /api/vehicles?id={id}` проксирует запросы в Cloud Function `vehicle-api` + +
-## Варианты заданий -Номер варианта задания присваивается в начале семестра. Изменить его нельзя. Каждый вариант имеет уникальную комбинацию из предметной области, базы данных и технологии для общения сервиса генерации данных и сервера апи. -[Список вариантов](https://docs.google.com/document/d/1WGmLYwffTTaAj4TgFCk5bUyW3XKbFMiBm-DHZrfFWr4/edit?usp=sharing) -[Список предметных областей и алгоритмов балансировки](https://docs.google.com/document/d/1PLn2lKe4swIdJDZhwBYzxqFSu0AbY2MFY1SUPkIKOM4/edit?usp=sharing) +## Лабораторная работа №3 — «Интеграционное тестирование» + +### Описание + +Реализован файловый сервис, сохраняющий данные о транспортных средствах в объектное хранилище через брокер сообщений, а также интеграционные тесты, проверяющие корректность работы всего бэкенда. -## Схема сдачи +### Что реализовано -На каждую из лабораторных работ необходимо сделать отдельный [Pull Request (PR)](https://docs.github.com/en/pull-requests). +
+Брокер сообщений (Amazon SQS + LocalStack) +
-Общая схема: -1. Сделать форк данного репозитория -2. Выполнить задание -3. Сделать PR в данный репозиторий -4. Исправить замечания после code review -5. Получить approve +
+Файловый сервис (FileService) +
-## Критерии оценивания +- `MinioStorageService` — сохраняет JSON каждого сообщения как отдельный файл в MinIO +- Эндпоинт `GET /files` — список всех файлов в bucket -Конкурентный принцип. -Так как задания в первой лабораторной будут повторяться между студентами, то выделяются следующие показатели для оценки: -1. Скорость разработки -2. Качество разработки -3. Полнота выполнения задания +
+
-Быстрее делаете PR - у вас преимущество. -Быстрее получаете Approve - у вас преимущество. -Выполните нечто немного выходящее за рамки проекта - у вас преимущество. -Не укладываетесь в дедлайн - получаете минимально возможный балл. +
+Объектное хранилище (MinIO) +
-### Шкала оценивания +- Bucket `vehicles` создаётся автоматически при старте FileService +- Хранение JSON-файлов с данными транспортных средств -- **3 балла** за качество кода, из них: - - 2 балла - базовая оценка - - 1 балл (но не более) можно получить за выполнение любого из следующих пунктов: - - Реализация факультативного функционала - - Выполнение работы раньше других: первые 5 человек из каждой группы, которые сделали PR и получили approve, получают дополнительный балл - -## Вопросы и обратная связь по курсу +
+
-Чтобы задать вопрос по лабораторной, воспользуйтесь [соответствующим разделом дискуссий](https://github.com/itsecd/cloud-development/discussions/categories/questions) или заведите [ишью](https://github.com/itsecd/cloud-development/issues/new). -Если у вас появились идеи/пожелания/прочие полезные мысли по преподаваемой дисциплине, их можно оставить [здесь](https://github.com/itsecd/cloud-development/discussions/categories/ideas). +
+Интеграционные тесты (xUnit + Aspire Testing) +
+ +- Поднимают весь AppHost целиком (Redis, LocalStack, MinIO, все сервисы) +- `GetVehicle_ValidId_ReturnsOk` — gateway возвращает 200 +- `GetVehicle_ValidId_ReturnsExpectedFields` — ответ содержит все поля +- `GetVehicle_InvalidId_ReturnsBadRequest` — валидация id=0 +- `GetVehicle_NegativeId_ReturnsBadRequest` — валидация отрицательных id +- `GetVehicle_SameId_ReturnsCachedData` — одинаковый id возвращает одинаковые данные +- `GetVehicle_DifferentIds_ReturnDifferentData` — разные id возвращают разные данные +- `GetVehicle_FileAppearsInMinio` — файл появляется в MinIO после запроса (30 сек таймаут) +- `FileService_HealthCheck_ReturnsOk` — health check FileService +- `Gateway_HealthCheck_ReturnsOk` — health check ApiGateway + +
+
+ +## Лабораторная работа №2 — «Балансировка нагрузки» + +### Описание + +Реализован ApiGateway с балансировкой нагрузки между тремя репликами сервиса генерации данных о транспортных средствах с оркестрацией через .NET Aspire. + +### Что реализовано + +
+Балансировка нагрузки (Ocelot + WeightedRandom) +
+ +- ApiGateway на базе Ocelot +- Кастомный балансировщик `WeightedRandomLoadBalancer` +- Веса реплик настраиваются через `appsettings.json` (`WeightedRandom:Weights`) +- Три реплики сервиса генерации + +
+
+ +
+CORS +
+ +- Настроен на уровне ApiGateway (`AllowAnyOrigin`, `AllowAnyMethod`, `AllowAnyHeader`) + +
+
+ +
+Оркестрация (.NET Aspire) +
+ +- Redis +- Три реплики VehicleApi +- ApiGateway +- Клиент + +
+
+ +## Лабораторная работа №1 — «Кэширование» + +**Вариант №17 — «Транспортное средство»** +**Выполнил:** Чукарев Михаил, группа 6511 + +### Описание + +Реализован сервис генерации данных о транспортных средствах с кэшированием ответов в Redis и оркестрацией через .NET Aspire. + +### Что реализовано + +
+Генерация данных (Bogus) +
+ +- Класс `VehicleGenerator` с `RuleFor` для каждого поля +- Поля: VIN, производитель, модель, год выпуска, тип кузова, тип топлива, цвет, пробег, дата последнего ТО + +
+
+ +
+Кэширование (Redis + IDistributedCache) +
+ +- Сервис `VehicleService` инкапсулирует логику работы с кэшем + +
+
+ +
+Структурное логирование +
+ +- Логирование через `ILogger` + +
+
+ +
+CORS +
+ +- Доверенные origins вынесены в `appsettings.json` (`Cors:AllowedOrigins`) +- `AllowAnyMethod`, `AllowAnyHeader` + +
+
+ +
+Оркестрация (.NET Aspire) +
+ +- Redis +- API сервис +- Клиент WASM + +
+
+ +
+API +
+ +- Единственный эндпоинт: `GET /api/vehicles?id={id}` + +
+
+ +
+Тесты (xUnit) +
+ +- `Generate_SameId_ReturnsSameData` — детерминированность генерации +- `Generate_DifferentIds_ReturnsDifferentData` — уникальность по `id` +- `Generate_YearConstraint_IsValid` — год в диапазоне [1990, текущий] +- `Generate_MileageConstraint_IsValid` — пробег в диапазоне [0, 500 000] +- `Generate_LastServiceDateConstraint_IsValid` — дата ТО не раньше года выпуска и не в будущем + +
+
diff --git a/src/ApiGateway/ApiGateway.csproj b/src/ApiGateway/ApiGateway.csproj new file mode 100644 index 00000000..0378f393 --- /dev/null +++ b/src/ApiGateway/ApiGateway.csproj @@ -0,0 +1,23 @@ + + + + net8.0 + enable + enable + + + + + + + + + + + + + Always + + + + diff --git a/src/ApiGateway/LoadBalancing/WeightedRandomLoadBalancer.cs b/src/ApiGateway/LoadBalancing/WeightedRandomLoadBalancer.cs new file mode 100644 index 00000000..75e9782e --- /dev/null +++ b/src/ApiGateway/LoadBalancing/WeightedRandomLoadBalancer.cs @@ -0,0 +1,29 @@ +using Ocelot.LoadBalancer.LoadBalancers; +using Ocelot.Responses; +using Ocelot.Values; + +namespace ApiGateway.LoadBalancing; + +public class WeightedRandomLoadBalancer(List services, double[] weights) : ILoadBalancer +{ + public string Type => nameof(WeightedRandomLoadBalancer); + + public Task> LeaseAsync(HttpContext httpContext) + { + var cumulative = 0.0; + var roll = Random.Shared.NextDouble(); + + for (var i = 0; i < services.Count; i++) + { + cumulative += weights[i]; + if (roll < cumulative) + return Task.FromResult>( + new OkResponse(services[i].HostAndPort)); + } + + return Task.FromResult>( + new OkResponse(services[Random.Shared.Next(services.Count)].HostAndPort)); + } + + public void Release(ServiceHostAndPort hostAndPort) { } +} \ No newline at end of file diff --git a/src/ApiGateway/Program.cs b/src/ApiGateway/Program.cs new file mode 100644 index 00000000..91a54015 --- /dev/null +++ b/src/ApiGateway/Program.cs @@ -0,0 +1,70 @@ +using ApiGateway.LoadBalancing; +using Ocelot.DependencyInjection; +using Ocelot.Middleware; +using Microsoft.AspNetCore.Diagnostics.HealthChecks; + +var builder = WebApplication.CreateBuilder(args); + +builder.AddServiceDefaults(); + +builder.Configuration.AddJsonFile("ocelot.json", optional: false, reloadOnChange: true); + +var urls = new List(); + +for (var i = 1; ; i++) +{ + var url = builder.Configuration[$"services:vehicleapi-{i}:api-endpoint:0"]; + if (url == null) break; + urls.Add(new Uri(url)); +} + +if (urls.Count > 0) +{ + for (var i = 0; i < urls.Count; i++) + { + builder.Configuration[$"Routes:0:DownstreamHostAndPorts:{i}:Host"] = urls[i].Host; + builder.Configuration[$"Routes:0:DownstreamHostAndPorts:{i}:Port"] = urls[i].Port.ToString(); + } +} + +builder.Services.AddCors(options => +{ + options.AddDefaultPolicy(policy => + { + var allowedOrigins = builder.Configuration + .GetSection("Cors:AllowedOrigins") + .Get() ?? []; + + policy.WithOrigins(allowedOrigins) + .AllowAnyMethod() + .AllowAnyHeader(); + }); +}); + +var weights = builder.Configuration + .GetSection("WeightedRandom:Weights") + .Get() ?? [0.5, 0.3, 0.2]; + +builder.Services.AddOcelot(builder.Configuration) + .AddCustomLoadBalancer((serviceProvider, route, serviceDiscoveryProvider) => + { + var services = serviceDiscoveryProvider.GetAsync().GetAwaiter().GetResult().ToList(); + return new WeightedRandomLoadBalancer(services, weights); + }); + +var app = builder.Build(); + +app.UseCors(); +app.UseRouting(); +app.UseEndpoints(endpoints => +{ + endpoints.MapHealthChecks("/health"); + endpoints.MapHealthChecks("/alive", new HealthCheckOptions + { + Predicate = r => r.Tags.Contains("live") + }); +}); + +await app.UseOcelot(); + +app.Run(); \ No newline at end of file diff --git a/src/ApiGateway/Properties/launchSettings.json b/src/ApiGateway/Properties/launchSettings.json new file mode 100644 index 00000000..c94776a4 --- /dev/null +++ b/src/ApiGateway/Properties/launchSettings.json @@ -0,0 +1,10 @@ +{ + "profiles": { + "ApiGateway": { + "commandName": "Project", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + } + } +} \ No newline at end of file diff --git a/src/ApiGateway/appsettings.json b/src/ApiGateway/appsettings.json new file mode 100644 index 00000000..27019413 --- /dev/null +++ b/src/ApiGateway/appsettings.json @@ -0,0 +1,19 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning", + "Ocelot": "Information" + } + }, + "AllowedHosts": "*", + "WeightedRandom": { + "Weights": [ 0.5, 0.3, 0.2 ] + }, + "Cors": { + "AllowedOrigins": [ + "https://localhost:7282", + "http://localhost:5127" + ] + } +} \ No newline at end of file diff --git a/src/ApiGateway/ocelot.json b/src/ApiGateway/ocelot.json new file mode 100644 index 00000000..419c673d --- /dev/null +++ b/src/ApiGateway/ocelot.json @@ -0,0 +1,22 @@ +{ + "Routes": [ + { + "UpstreamPathTemplate": "/api/vehicles", + "UpstreamHttpMethod": [ "GET" ], + "DownstreamPathTemplate": "/api/vehicles", + "DownstreamScheme": "http", + "DownstreamHostAndPorts": [ + { "Host": "localhost", "Port": 5101 }, + { "Host": "localhost", "Port": 5102 }, + { "Host": "localhost", "Port": 5103 } + ], + "LoadBalancerOptions": { + "Type": "WeightedRandomLoadBalancer", + "Key": "vehicles" + } + } + ], + "GlobalConfiguration": { + "BaseUrl": "http://localhost:5200" + } +} \ No newline at end of file diff --git a/src/AppHost/AppHost.csproj b/src/AppHost/AppHost.csproj new file mode 100644 index 00000000..93490118 --- /dev/null +++ b/src/AppHost/AppHost.csproj @@ -0,0 +1,23 @@ + + + + Exe + net8.0 + enable + enable + true + + + + + + + + + + + + + + + \ No newline at end of file diff --git a/src/AppHost/Program.cs b/src/AppHost/Program.cs new file mode 100644 index 00000000..bcc4e93b --- /dev/null +++ b/src/AppHost/Program.cs @@ -0,0 +1,71 @@ +var builder = DistributedApplication.CreateBuilder(args); + +var ports = builder.Configuration + .GetSection("ApiService:Ports") + .GetChildren() + .Select(x => int.Parse(x.Value!)) + .ToList(); + +if (ports.Count == 0) + ports = [5101, 5102, 5103]; + +var gatewayPort = int.TryParse(builder.Configuration["ApiGateway:Port"], out var p) ? p : 5200; + +var cache = builder.AddRedis("cache") + .WithRedisInsight(); + +var minio = builder.AddContainer("minio", "minio/minio") + .WithArgs("server", "/data", "--console-address", ":9001") + .WithEnvironment("MINIO_ROOT_USER", "minioadmin") + .WithEnvironment("MINIO_ROOT_PASSWORD", "minioadmin") + .WithHttpEndpoint(port: 9000, targetPort: 9000, name: "api") + .WithHttpEndpoint(port: 9001, targetPort: 9001, name: "console"); + +var localstack = builder.AddContainer("localstack", "localstack/localstack", "3.0.0") + .WithEnvironment("SERVICES", "sqs") + .WithEnvironment("DEFAULT_REGION", "us-east-1") + .WithEnvironment("AWS_DEFAULT_REGION", "us-east-1") + .WithEnvironment("AWS_ACCESS_KEY_ID", "test") + .WithEnvironment("AWS_SECRET_ACCESS_KEY", "test") + .WithEnvironment("LOCALSTACK_ACKNOWLEDGE_ACCOUNT_REQUIREMENT", "1") + .WithHttpEndpoint(port: 4566, targetPort: 4566, name: "api"); + +var localstackEndpoint = localstack.GetEndpoint("api"); +var minioEndpoint = minio.GetEndpoint("api"); + +var sqsServiceUrl = ReferenceExpression.Create($"http://{localstackEndpoint.Property(EndpointProperty.Host)}:{localstackEndpoint.Property(EndpointProperty.Port)}"); +var sqsQueueUrl = ReferenceExpression.Create($"http://{localstackEndpoint.Property(EndpointProperty.Host)}:{localstackEndpoint.Property(EndpointProperty.Port)}/000000000000/vehicles"); + +var fileService = builder.AddProject("fileservice") + .WithEnvironment("Sqs__ServiceUrl", sqsServiceUrl) + .WithEnvironment("Sqs__QueueUrl", sqsQueueUrl) + .WithEnvironment("Minio__Endpoint", ReferenceExpression.Create($"{minioEndpoint.Property(EndpointProperty.Host)}:{minioEndpoint.Property(EndpointProperty.Port)}")) + .WaitFor(minio) + .WaitFor(localstack); + +var gateway = builder.AddProject("apigateway") + .WithHttpEndpoint(port: gatewayPort, name: "gateway-endpoint", isProxied: false) + .WithExternalHttpEndpoints(); + +var serviceId = 1; +foreach (var port in ports) +{ + var replica = builder.AddProject($"vehicleapi-{serviceId++}", launchProfileName: null) + .WithReference(cache) + .WithEnvironment("Sqs__ServiceUrl", sqsServiceUrl) + .WithEnvironment("Sqs__QueueUrl", sqsQueueUrl) + .WithHttpEndpoint(port: port, name: "api-endpoint", isProxied: false) + .WithExternalHttpEndpoints() + .WaitFor(cache) + .WaitFor(localstack); + + gateway.WithReference(replica) + .WaitFor(replica); + fileService.WaitFor(replica); +} + +builder.AddProject("client") + .WithReference(gateway) + .WaitFor(gateway); + +builder.Build().Run(); \ No newline at end of file diff --git a/src/AppHost/Properties/launchSettings.json b/src/AppHost/Properties/launchSettings.json new file mode 100644 index 00000000..a37f7f18 --- /dev/null +++ b/src/AppHost/Properties/launchSettings.json @@ -0,0 +1,17 @@ +{ + "$schema": "https://json.schemastore.org/launchsettings.json", + "profiles": { + "https": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "https://localhost:17057;http://localhost:15057", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development", + "DOTNET_ENVIRONMENT": "Development", + "DOTNET_DASHBOARD_OTLP_ENDPOINT_URL": "https://localhost:21057", + "DOTNET_RESOURCE_SERVICE_ENDPOINT_URL": "https://localhost:22057" + } + } + } +} diff --git a/src/AppHost/appsettings.json b/src/AppHost/appsettings.json new file mode 100644 index 00000000..0dbac826 --- /dev/null +++ b/src/AppHost/appsettings.json @@ -0,0 +1,14 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + }, + "ApiService": { + "Ports": [ 5101, 5102, 5103 ] + }, + "ApiGateway": { + "Port": 5200 + } +} \ No newline at end of file diff --git a/src/FileService/FileService.csproj b/src/FileService/FileService.csproj new file mode 100644 index 00000000..71c91fa7 --- /dev/null +++ b/src/FileService/FileService.csproj @@ -0,0 +1,15 @@ + + + net8.0 + enable + enable + Exe + + + + + + + + + \ No newline at end of file diff --git a/src/FileService/Function.cs b/src/FileService/Function.cs new file mode 100644 index 00000000..c3d160f9 --- /dev/null +++ b/src/FileService/Function.cs @@ -0,0 +1,110 @@ +using System.Text.Json; +using System.Text.Json.Serialization; +using Amazon.S3; +using Amazon.S3.Model; +using Microsoft.Extensions.Configuration; +using Microsoft.Extensions.DependencyInjection; +using Microsoft.Extensions.Logging; + +namespace FileService; + +public class Handler +{ + private readonly ILogger _logger; + private readonly AmazonS3Client _s3; + private readonly string _bucketName; + + public Handler() + { + var config = new ConfigurationBuilder() + .AddEnvironmentVariables() + .Build(); + + var services = new ServiceCollection(); + services.AddLogging(b => b.AddConsole()); + var provider = services.BuildServiceProvider(); + _logger = provider.GetRequiredService>(); + + _bucketName = config["S3_BUCKET"] ?? "vehicles-storage"; + + var s3Config = new AmazonS3Config + { + ServiceURL = "https://storage.yandexcloud.net", + ForcePathStyle = true + }; + var creds = new Amazon.Runtime.BasicAWSCredentials( + config["S3_ACCESS_KEY"] ?? "", + config["S3_SECRET_KEY"] ?? ""); + + _s3 = new AmazonS3Client(creds, s3Config); + } + + public async Task FunctionHandler(QueueRequest request) + { + _logger.LogInformation("Got {Count} messages", request.Messages.Count); + + foreach (var evt in request.Messages) + { + var message = evt.Details?.Message; + if (message == null) + { + _logger.LogWarning("Message is null, skipping"); + continue; + } + + _logger.LogInformation("MessageId: {Id}, Body: {Body}", + message.MessageId, message.Body); + + try + { + var body = message.Body; + var shortId = message.MessageId.Length >= 8 + ? message.MessageId[..8] + : message.MessageId; + var objectName = $"vehicle-{DateTimeOffset.UtcNow:yyyyMMdd-HHmmss-fff}-{shortId}.json"; + + using var stream = new MemoryStream(System.Text.Encoding.UTF8.GetBytes(body)); + await _s3.PutObjectAsync(new PutObjectRequest + { + BucketName = _bucketName, + Key = objectName, + InputStream = stream, + ContentType = "application/json" + }); + + _logger.LogInformation("Saved {ObjectName}", objectName); + } + catch (Exception ex) + { + _logger.LogError(ex, "Failed to process message {MessageId}", message.MessageId); + } + } + } +} + +public class QueueRequest +{ + [JsonPropertyName("messages")] + public List Messages { get; set; } = new(); +} + +public class QueueEvent +{ + [JsonPropertyName("details")] + public QueueEventDetails? Details { get; set; } +} + +public class QueueEventDetails +{ + [JsonPropertyName("message")] + public QueueMessage? Message { get; set; } +} + +public class QueueMessage +{ + [JsonPropertyName("message_id")] + public string MessageId { get; set; } = ""; + + [JsonPropertyName("body")] + public string Body { get; set; } = ""; +} \ No newline at end of file diff --git a/src/FileService/Program.cs b/src/FileService/Program.cs new file mode 100644 index 00000000..507489b4 --- /dev/null +++ b/src/FileService/Program.cs @@ -0,0 +1,5 @@ +namespace FileService; +public partial class Program +{ + public static void Main(string[] args) { } +} \ No newline at end of file diff --git a/src/FileService/Properties/launchSettings.json b/src/FileService/Properties/launchSettings.json new file mode 100644 index 00000000..1e0274d8 --- /dev/null +++ b/src/FileService/Properties/launchSettings.json @@ -0,0 +1,14 @@ +{ + "$schema": "http://json.schemastore.org/launchsettings.json", + "profiles": { + "http": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": false, + "applicationUrl": "http://localhost:5300", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + } + } +} diff --git a/src/FileService/appsettings.json b/src/FileService/appsettings.json new file mode 100644 index 00000000..aaaf0cdc --- /dev/null +++ b/src/FileService/appsettings.json @@ -0,0 +1,16 @@ +{ + "Sqs": { + "ServiceUrl": "https://message-queue.api.cloud.yandex.net", + "QueueUrl": "https://message-queue.api.cloud.yandex.net/b1gbv86ic6n14r4ut2qh/dj60000000net9t007hk/vehicles", + "AccessKey": "YCAJE6KXCEdTbe_XyU5qoo_nR", + "SecretKey": "SECRET" + }, + "Minio": { + "Endpoint": "storage.yandexcloud.net", + "AccessKey": "YCAJE6KXCEdTbe_XyU5qoo_nR", + "SecretKey": "SECRET", + "BucketName": "vehicles-storage", + "UseSSL": true + }, + "AllowedHosts": "*" +} \ No newline at end of file diff --git a/src/ServiceDefaults/Extensions.cs b/src/ServiceDefaults/Extensions.cs new file mode 100644 index 00000000..62670bc2 --- /dev/null +++ b/src/ServiceDefaults/Extensions.cs @@ -0,0 +1,79 @@ +using Microsoft.AspNetCore.Builder; +using Microsoft.AspNetCore.Diagnostics.HealthChecks; +using Microsoft.Extensions.DependencyInjection; +using Microsoft.Extensions.Diagnostics.HealthChecks; +using Microsoft.Extensions.Logging; +using OpenTelemetry; +using OpenTelemetry.Metrics; +using OpenTelemetry.Trace; + +namespace Microsoft.Extensions.Hosting; + +public static class Extensions +{ + private const string HealthEndpointPath = "/health"; + private const string AlivenessEndpointPath = "/alive"; + + public static TBuilder AddServiceDefaults(this TBuilder builder) where TBuilder : IHostApplicationBuilder + { + builder.ConfigureOpenTelemetry(); + builder.AddDefaultHealthChecks(); + builder.Services.AddServiceDiscovery(); + + return builder; + } + + public static TBuilder ConfigureOpenTelemetry(this TBuilder builder) where TBuilder : IHostApplicationBuilder + { + builder.Logging.AddOpenTelemetry(logging => + { + logging.IncludeFormattedMessage = true; + logging.IncludeScopes = true; + }); + + builder.Services.AddOpenTelemetry() + .WithMetrics(metrics => metrics + .AddAspNetCoreInstrumentation() + .AddHttpClientInstrumentation() + .AddRuntimeInstrumentation()) + .WithTracing(tracing => tracing + .AddSource(builder.Environment.ApplicationName) + .AddAspNetCoreInstrumentation() + .AddHttpClientInstrumentation()); + + builder.AddOpenTelemetryExporters(); + + return builder; + } + + private static TBuilder AddOpenTelemetryExporters(this TBuilder builder) where TBuilder : IHostApplicationBuilder + { + var useOtlpExporter = !string.IsNullOrWhiteSpace(builder.Configuration["OTEL_EXPORTER_OTLP_ENDPOINT"]); + + if (useOtlpExporter) + { + builder.Services.AddOpenTelemetry().UseOtlpExporter(); + } + + return builder; + } + + public static TBuilder AddDefaultHealthChecks(this TBuilder builder) where TBuilder : IHostApplicationBuilder + { + builder.Services.AddHealthChecks() + .AddCheck("self", () => HealthCheckResult.Healthy(), ["live"]); + + return builder; + } + + public static WebApplication MapDefaultEndpoints(this WebApplication app) + { + app.MapHealthChecks(HealthEndpointPath); + app.MapHealthChecks(AlivenessEndpointPath, new HealthCheckOptions + { + Predicate = r => r.Tags.Contains("live") + }); + + return app; + } +} diff --git a/src/ServiceDefaults/ServiceDefaults.csproj b/src/ServiceDefaults/ServiceDefaults.csproj new file mode 100644 index 00000000..66030857 --- /dev/null +++ b/src/ServiceDefaults/ServiceDefaults.csproj @@ -0,0 +1,20 @@ + + + + net8.0 + enable + enable + + + + + + + + + + + + + + \ No newline at end of file diff --git a/src/VehicleApi/Function.cs b/src/VehicleApi/Function.cs new file mode 100644 index 00000000..800f96cc --- /dev/null +++ b/src/VehicleApi/Function.cs @@ -0,0 +1,127 @@ +using Amazon.SQS; +using Microsoft.Extensions.Configuration; +using Microsoft.Extensions.DependencyInjection; +using Microsoft.Extensions.Logging; +using System.Text.Json; +using System.Text.Json.Serialization; +using VehicleApi.Services; + +namespace VehicleApi; + +public class Handler +{ + private readonly SqsPublisherService _publisher; + private readonly ILogger _logger; + + public Handler() + { + var config = new ConfigurationBuilder() + .AddEnvironmentVariables() + .Build(); + + var services = new ServiceCollection(); + services.AddLogging(b => b.AddConsole()); + services.AddSingleton(config); + + var sqsConfig = new AmazonSQSConfig + { + ServiceURL = config["SQS_SERVICE_URL"] + ?? "https://message-queue.api.cloud.yandex.net", + AuthenticationRegion = "ru-central1" + }; + var creds = new Amazon.Runtime.BasicAWSCredentials( + config["SQS_ACCESS_KEY"] ?? "", + config["SQS_SECRET_KEY"] ?? ""); + + services.AddSingleton(_ => + new AmazonSQSClient(creds, sqsConfig)); + services.AddSingleton(); + + var provider = services.BuildServiceProvider(); + _publisher = provider.GetRequiredService(); + _logger = provider.GetRequiredService>(); + } + + public async Task FunctionHandler(Request request) + { + var query = request.QueryStringParameters; + + if (query == null || !query.TryGetValue("id", out var idStr) + || !int.TryParse(idStr, out var id)) + { + return BadRequest("Missing or invalid 'id' parameter"); + } + + if (id <= 0) + return BadRequest("ID must be greater than 0"); + + var vehicle = VehicleGenerator.Generate(id); + + try + { + await _publisher.PublishAsync(vehicle); + } + catch (Exception ex) + { + _logger.LogError(ex, "Failed to publish to SQS"); + } + + return Ok(JsonSerializer.Serialize(vehicle)); + } + + private static Response BadRequest(string message) => new() + { + StatusCode = 400, + Body = message + }; + + private static Response Ok(string body) => new() + { + StatusCode = 200, + Headers = new Dictionary + { + ["Content-Type"] = "application/json", + ["Access-Control-Allow-Origin"] = "*" + }, + Body = body + }; +} + +public class Request +{ + [JsonPropertyName("httpMethod")] + public string? HttpMethod { get; set; } + + [JsonPropertyName("url")] + public string? Url { get; set; } + + [JsonPropertyName("path")] + public string? Path { get; set; } + + [JsonPropertyName("body")] + public string? Body { get; set; } + + [JsonPropertyName("queryStringParameters")] + public Dictionary? QueryStringParameters { get; set; } + + [JsonPropertyName("headers")] + public Dictionary? Headers { get; set; } + + [JsonPropertyName("pathParameters")] + public Dictionary? PathParameters { get; set; } + + [JsonPropertyName("isBase64Encoded")] + public bool IsBase64Encoded { get; set; } +} + +public class Response +{ + [JsonPropertyName("statusCode")] + public int StatusCode { get; set; } + + [JsonPropertyName("headers")] + public Dictionary? Headers { get; set; } + + [JsonPropertyName("body")] + public string Body { get; set; } = ""; +} \ No newline at end of file diff --git a/src/VehicleApi/Models/Vehicle.cs b/src/VehicleApi/Models/Vehicle.cs new file mode 100644 index 00000000..5b9602c7 --- /dev/null +++ b/src/VehicleApi/Models/Vehicle.cs @@ -0,0 +1,37 @@ +namespace VehicleApi.Models; + +/// +/// Представляет сущность транспортного средства. +/// +public record Vehicle +{ + /// Уникальный идентификатор транспортного средства. + public int Id { get; init; } + + /// Идентификационный номер транспортного средства (VIN). + public required string Vin { get; init; } + + /// Производитель транспортного средства. + public required string Manufacturer { get; init; } + + /// Модель транспортного средства. + public required string Model { get; init; } + + /// Год выпуска транспортного средства. + public int Year { get; init; } + + /// Тип кузова транспортного средства. + public required string BodyType { get; init; } + + /// Тип топлива транспортного средства. + public required string FuelType { get; init; } + + /// Цвет транспортного средства. + public required string Color { get; init; } + + /// Пробег транспортного средства. + public double Mileage { get; init; } + + /// Дата последнего технического обслуживания. + public DateOnly LastServiceDate { get; init; } +} \ No newline at end of file diff --git a/src/VehicleApi/Program.cs b/src/VehicleApi/Program.cs new file mode 100644 index 00000000..032ac285 --- /dev/null +++ b/src/VehicleApi/Program.cs @@ -0,0 +1,6 @@ +namespace VehicleApi; + +public partial class Program +{ + public static void Main(string[] args) { } +} \ No newline at end of file diff --git a/src/VehicleApi/Properties/launchSettings.json b/src/VehicleApi/Properties/launchSettings.json new file mode 100644 index 00000000..36b29597 --- /dev/null +++ b/src/VehicleApi/Properties/launchSettings.json @@ -0,0 +1,32 @@ +{ + "profiles": { + "http": { + "commandName": "Project", + "applicationUrl": "http://localhost:5000", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "replica1": { + "commandName": "Project", + "applicationUrl": "http://localhost:5101", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "replica2": { + "commandName": "Project", + "applicationUrl": "http://localhost:5102", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "replica3": { + "commandName": "Project", + "applicationUrl": "http://localhost:5103", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + } + } +} \ No newline at end of file diff --git a/src/VehicleApi/Services/SqsPublisherService.cs b/src/VehicleApi/Services/SqsPublisherService.cs new file mode 100644 index 00000000..675b92d0 --- /dev/null +++ b/src/VehicleApi/Services/SqsPublisherService.cs @@ -0,0 +1,26 @@ +using System.Text.Json; +using Amazon.SQS; +using Amazon.SQS.Model; +using Microsoft.Extensions.Configuration; +using Microsoft.Extensions.Logging; +using VehicleApi.Models; + +namespace VehicleApi.Services; + +public class SqsPublisherService(IAmazonSQS sqs, IConfiguration config, ILogger logger) +{ + private readonly string _queueUrl = config["SQS_QUEUE_URL"] + ?? throw new InvalidOperationException("SQS_QUEUE_URL is not configured"); + + public async Task PublishAsync(Vehicle vehicle) + { + var body = JsonSerializer.Serialize(vehicle); + var response = await sqs.SendMessageAsync(new SendMessageRequest + { + QueueUrl = _queueUrl, + MessageBody = body + }); + logger.LogInformation("Published vehicle {Id}, MessageId: {MessageId}", + vehicle.Id, response.MessageId); + } +} \ No newline at end of file diff --git a/src/VehicleApi/Services/VehicleGenerator.cs b/src/VehicleApi/Services/VehicleGenerator.cs new file mode 100644 index 00000000..60bb6ecf --- /dev/null +++ b/src/VehicleApi/Services/VehicleGenerator.cs @@ -0,0 +1,27 @@ +using Bogus; +using VehicleApi.Models; + +namespace VehicleApi.Services; + +public static class VehicleGenerator +{ + private static readonly Faker _faker = new Faker() + .RuleFor(v => v.Id, f => f.IndexFaker) + .RuleFor(v => v.Vin, f => f.Vehicle.Vin()) + .RuleFor(v => v.Manufacturer, f => f.Vehicle.Manufacturer()) + .RuleFor(v => v.Model, f => f.Vehicle.Model()) + .RuleFor(v => v.Year, f => f.Random.Int(1990, DateTime.Now.Year)) + .RuleFor(v => v.BodyType, f => f.Vehicle.Type()) + .RuleFor(v => v.FuelType, f => f.Vehicle.Fuel()) + .RuleFor(v => v.Color, f => f.Commerce.Color()) + .RuleFor(v => v.Mileage, f => f.Random.Double(0, 500000)) + .RuleFor(v => v.LastServiceDate, (f, v) => + DateOnly.FromDateTime(f.Date.Between(new DateTime(v.Year, 1, 1), DateTime.Now))); + + public static Vehicle Generate(int id) +{ + _faker.UseSeed(id); + var vehicle = _faker.Generate(); + return vehicle with { Id = id }; +} +} \ No newline at end of file diff --git a/src/VehicleApi/Services/VehicleService.cs b/src/VehicleApi/Services/VehicleService.cs new file mode 100644 index 00000000..6c9fb1f0 --- /dev/null +++ b/src/VehicleApi/Services/VehicleService.cs @@ -0,0 +1,12 @@ +using VehicleApi.Models; + +namespace VehicleApi.Services; + +public class VehicleService +{ + public Task GetByIdAsync(int id) + { + var vehicle = VehicleGenerator.Generate(id); + return Task.FromResult(vehicle); + } +} \ No newline at end of file diff --git a/src/VehicleApi/VehicleApi.csproj b/src/VehicleApi/VehicleApi.csproj new file mode 100644 index 00000000..b5fc7f28 --- /dev/null +++ b/src/VehicleApi/VehicleApi.csproj @@ -0,0 +1,18 @@ + + + net8.0 + enable + enable + Exe + + + + + + + + + + + + \ No newline at end of file diff --git a/src/VehicleApi/appsettings.json b/src/VehicleApi/appsettings.json new file mode 100644 index 00000000..66158a82 --- /dev/null +++ b/src/VehicleApi/appsettings.json @@ -0,0 +1,12 @@ +{ + "Cache": { + "AbsoluteExpirationMinutes": 10 + }, + "Sqs": { + "ServiceUrl": "https://message-queue.api.cloud.yandex.net", + "QueueUrl": "https://message-queue.api.cloud.yandex.net/b1gbv86ic6n14r4ut2qh/dj60000000net9t007hk/vehicles", + "AccessKey": "YCAJE6KXCEdTbe_XyU5qoo_nR", + "SecretKey": "SECRET" + }, + "AllowedHosts": "*" +} \ No newline at end of file diff --git a/tests/Integration.Tests/AppHostFixture.cs b/tests/Integration.Tests/AppHostFixture.cs new file mode 100644 index 00000000..887205a3 --- /dev/null +++ b/tests/Integration.Tests/AppHostFixture.cs @@ -0,0 +1,49 @@ +using Aspire.Hosting; +using Aspire.Hosting.Testing; +using Xunit; + +namespace Integration.Tests; + +/// +/// Поднимает весь Aspire AppHost один раз для всей коллекции тестов. +/// +public sealed class AppHostFixture : IAsyncLifetime +{ + public HttpClient GatewayClient { get; private set; } = null!; + public HttpClient FileServiceClient { get; private set; } = null!; + + private DistributedApplication _app = null!; + + public async Task InitializeAsync() + { + var builder = await DistributedApplicationTestingBuilder.CreateAsync(); + _app = await builder.BuildAsync(); + await _app.StartAsync(); + + GatewayClient = _app.CreateHttpClient("apigateway", "gateway-endpoint"); + FileServiceClient = _app.CreateHttpClient("fileservice"); + + using var cts = new CancellationTokenSource(TimeSpan.FromMinutes(5)); + while (true) + { + try + { + var response = await GatewayClient.GetAsync("/api/vehicles?id=1", cts.Token); + if ((int)response.StatusCode < 500) + break; + } + catch + { + // ещё не готов + } + await Task.Delay(2000, cts.Token); + } + } + + public async Task DisposeAsync() + { + GatewayClient?.Dispose(); + FileServiceClient?.Dispose(); + await _app.DisposeAsync(); + } +} diff --git a/tests/Integration.Tests/BackendIntegrationTests.cs b/tests/Integration.Tests/BackendIntegrationTests.cs new file mode 100644 index 00000000..4985ebf9 --- /dev/null +++ b/tests/Integration.Tests/BackendIntegrationTests.cs @@ -0,0 +1,128 @@ +using System.Net; +using System.Text.Json; +using Xunit; + +namespace Integration.Tests; + +/// +/// Интеграционные тесты всего бэкенда через Aspire AppHost. +/// Проверяют: gateway, кэш Redis, SQS-пайплайн и сохранение файлов в MinIO. +/// +public sealed class BackendIntegrationTests(AppHostFixture fixture) : IClassFixture +{ + private readonly HttpClient _gatewayClient = fixture.GatewayClient; + private readonly HttpClient _fileServiceClient = fixture.FileServiceClient; + + [Fact] + public async Task GetVehicle_ValidId_ReturnsOk() + { + var response = await _gatewayClient.GetAsync("/api/vehicles?id=1"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + } + + [Fact] + public async Task GetVehicle_ValidId_ReturnsExpectedFields() + { + var response = await _gatewayClient.GetAsync("/api/vehicles?id=5"); + var json = await response.Content.ReadAsStringAsync(); + using var doc = JsonDocument.Parse(json); + var root = doc.RootElement; + + Assert.True(root.TryGetProperty("id", out _), "Missing 'id' field"); + Assert.True(root.TryGetProperty("vin", out _), "Missing 'vin' field"); + Assert.True(root.TryGetProperty("manufacturer", out _), "Missing 'manufacturer' field"); + Assert.True(root.TryGetProperty("model", out _), "Missing 'model' field"); + Assert.True(root.TryGetProperty("year", out _), "Missing 'year' field"); + } + + [Fact] + public async Task GetVehicle_InvalidId_ReturnsBadRequest() + { + var response = await _gatewayClient.GetAsync("/api/vehicles?id=0"); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + } + + [Theory] + [InlineData(-1)] + [InlineData(-100)] + public async Task GetVehicle_NegativeId_ReturnsBadRequest(int id) + { + var response = await _gatewayClient.GetAsync($"/api/vehicles?id={id}"); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + } + + [Fact] + public async Task GetVehicle_SameId_ReturnsCachedData() + { + var r1 = await _gatewayClient.GetAsync("/api/vehicles?id=42"); + var r2 = await _gatewayClient.GetAsync("/api/vehicles?id=42"); + + r1.EnsureSuccessStatusCode(); + r2.EnsureSuccessStatusCode(); + + var json1 = await r1.Content.ReadAsStringAsync(); + var json2 = await r2.Content.ReadAsStringAsync(); + + Assert.Equal(json1, json2); + } + + [Fact] + public async Task GetVehicle_DifferentIds_ReturnDifferentData() + { + var r1 = await _gatewayClient.GetAsync("/api/vehicles?id=10"); + var r2 = await _gatewayClient.GetAsync("/api/vehicles?id=20"); + + r1.EnsureSuccessStatusCode(); + r2.EnsureSuccessStatusCode(); + + using var doc1 = JsonDocument.Parse(await r1.Content.ReadAsStringAsync()); + using var doc2 = JsonDocument.Parse(await r2.Content.ReadAsStringAsync()); + + Assert.Equal(10, doc1.RootElement.GetProperty("id").GetInt32()); + Assert.Equal(20, doc2.RootElement.GetProperty("id").GetInt32()); + } + + [Fact] + public async Task GetVehicle_FileAppearsInMinio() + { + var id = Random.Shared.Next(50_000, 99_999); + var deadline = DateTime.UtcNow.AddSeconds(30); + + await _gatewayClient.GetAsync($"/api/vehicles?id={id}"); + + while (DateTime.UtcNow < deadline) + { + await Task.Delay(2000); + + var filesResponse = await _fileServiceClient.GetAsync("/files"); + if (!filesResponse.IsSuccessStatusCode) continue; + + var files = JsonSerializer.Deserialize>( + await filesResponse.Content.ReadAsStringAsync()) ?? []; + + if (files.Any(f => f.Contains(id.ToString()))) + return; + } + + Assert.Fail($"Файл для vehicle id={id} не появился в MinIO за 30 секунд"); + } + + [Fact] + public async Task FileService_HealthCheck_ReturnsOk() + { + var response = await _fileServiceClient.GetAsync("/health"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + } + + [Fact] + public async Task Gateway_HealthCheck_ReturnsOk() + { + var response = await _gatewayClient.GetAsync("/health"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + } +} diff --git a/tests/Integration.Tests/Integration.Tests.csproj b/tests/Integration.Tests/Integration.Tests.csproj new file mode 100644 index 00000000..4a3375e8 --- /dev/null +++ b/tests/Integration.Tests/Integration.Tests.csproj @@ -0,0 +1,25 @@ + + + + net8.0 + enable + enable + false + true + + + + + + + runtime; build; native; contentfiles; analyzers; buildtransitive + all + + + + + + + + + \ No newline at end of file diff --git a/tests/VehicleApi.Tests/VehicleApi.Tests.csproj b/tests/VehicleApi.Tests/VehicleApi.Tests.csproj new file mode 100644 index 00000000..43d11c14 --- /dev/null +++ b/tests/VehicleApi.Tests/VehicleApi.Tests.csproj @@ -0,0 +1,24 @@ + + + + net8.0 + enable + enable + false + true + + + + + + + runtime; build; native; contentfiles; analyzers; buildtransitive + all + + + + + + + + diff --git a/tests/VehicleApi.Tests/VehicleGeneratorTests.cs b/tests/VehicleApi.Tests/VehicleGeneratorTests.cs new file mode 100644 index 00000000..b7d0257f --- /dev/null +++ b/tests/VehicleApi.Tests/VehicleGeneratorTests.cs @@ -0,0 +1,73 @@ +using VehicleApi.Services; +using Xunit; + +namespace VehicleApi.Tests; + +public class VehicleGeneratorTests +{ + [Fact] + public void Generate_SameId_ReturnsSameData() + { + var vehicle1 = VehicleGenerator.Generate(42); + var vehicle2 = VehicleGenerator.Generate(42); + + Assert.Equal(vehicle1.Vin, vehicle2.Vin); + Assert.Equal(vehicle1.Manufacturer, vehicle2.Manufacturer); + Assert.Equal(vehicle1.Model, vehicle2.Model); + Assert.Equal(vehicle1.Year, vehicle2.Year); + Assert.Equal(vehicle1.BodyType, vehicle2.BodyType); + Assert.Equal(vehicle1.FuelType, vehicle2.FuelType); + Assert.Equal(vehicle1.Color, vehicle2.Color); + Assert.Equal(vehicle1.Mileage, vehicle2.Mileage); + } + + [Theory] + [InlineData(1, 2)] + [InlineData(10, 20)] + [InlineData(42, 100)] + public void Generate_DifferentIds_ReturnsDifferentData(int id1, int id2) + { + var vehicle1 = VehicleGenerator.Generate(id1); + var vehicle2 = VehicleGenerator.Generate(id2); + + Assert.NotEqual(vehicle1.Vin, vehicle2.Vin); + } + + [Fact] + public void Generate_YearConstraint_IsValid() + { + for (var i = 1; i <= 100; i++) + { + var vehicle = VehicleGenerator.Generate(i); + + Assert.True(vehicle.Year >= 1990, $"Vehicle {i} has Year {vehicle.Year} which is less than 1990"); + Assert.True(vehicle.Year <= DateTime.Now.Year, $"Vehicle {i} has Year {vehicle.Year} which exceeds current year {DateTime.Now.Year}"); + } + } + + [Fact] + public void Generate_MileageConstraint_IsValid() + { + for (var i = 1; i <= 100; i++) + { + var vehicle = VehicleGenerator.Generate(i); + + Assert.True(vehicle.Mileage >= 0, $"Vehicle {i} has Mileage {vehicle.Mileage} which is less than 0"); + Assert.True(vehicle.Mileage <= 500000, $"Vehicle {i} has Mileage {vehicle.Mileage} which exceeds 500,000"); + } + } + + [Fact] + public void Generate_LastServiceDateConstraint_IsValid() + { + for (var i = 1; i <= 100; i++) + { + var vehicle = VehicleGenerator.Generate(i); + + Assert.True(vehicle.LastServiceDate.Year >= vehicle.Year, + $"Vehicle {i} has LastServiceDate year {vehicle.LastServiceDate.Year} which is before the vehicle's manufacturing year {vehicle.Year}"); + Assert.True(vehicle.LastServiceDate <= DateOnly.FromDateTime(DateTime.Now), + $"Vehicle {i} has LastServiceDate {vehicle.LastServiceDate} which is in the future"); + } + } +}