Зростаючий попит на штучний інтелект на пристрої в поєднанні зі зростаючими занепокоєннями щодо конфіденційності даних, викликає необхідність ефективного глибокого навчання на краю. Prashanthi SK, Saisamarth Taluri та Pranav Gupta, разом зі своїми колегами, вирішують цей виклик, розробляючи Fulcrum, нову систему оптимізації одночасного глибокого навчання та висновку на прискорювачах Edge. Їх робота визнає, що існуюче обладнання часто не вистачає гнучкості одночасно ефективно підтримувати обидва завдання, вимагаючи ретельного управління ресурсами та споживання електроенергії. Fulcrum інтелектуально переплітає навчання та висновок, динамічно регулюючи налаштування потужності та партії, щоб максимізувати продуктивність, при цьому дотримуючись суворої затримки та обмежень потужності, і важливо, він досягає цього з мінімальною потребою в дорогій та трудомісткій профілії. Цей прогрес обіцяє розблокувати весь потенціал пристроїв Edge для широкого спектру застосувань – від автономних транспортних засобів до персоналізованої медичної допомоги.
Оптимізація управління ресурсами та владою глибокого навчання
Це дослідження зосереджено на ефективному управлінні апаратними ресурсами для завдань глибокого навчання, як під час навчання, так і у висновку. Загальною метою є пошук найкращої конфігурації компонентів, ядер, частоти процесора та графічного процесора та швидкості пам'яті для задоволення вимог до продуктивності, мінімізуючи споживання електроенергії. Це представляє класичну проблему оптимізації, особливо в динамічних умовах, де навантаження та доступність ресурсів постійно змінюються. Для цього вчені розробили градієнтний багатовимірний пошук (GMD) для навчальних навантажень. GMD досліджує можливі конфігурації шляхом ітеративних налаштувань налаштувань ресурсів, керуючись компромісом між продуктивністю та потужністю.
Він починається з початкової конфігурації, а потім рухається в напрямку, що покращує продуктивність, зменшуючи використання електроенергії, обрізаючи простір пошуку, щоб зосередитись на найбільш вірогідних кандидатах. Для навантажень на висновку команда запропонувала активну вибірку на основі навчання (ALS). Цей метод використовує машинне навчання для прогнозування продуктивності та споживання енергії різних конфігурацій, інтелектуально вибираючи тих, хто, швидше за все, підвищить точність її прогнозованої моделі. Нейронна мережа навчається для прогнозування продуктивності та потужності, а алгоритм ітеративно зразки конфігурацій, профілі їх та оновлює мережу, що дозволяє ефективно вивчити простір конфігурації та точне прогнозування оптимальних налаштувань.
Розумне розміщення часу для Edge Neural Networks
Це дослідження вирішує проблему проведення глибоких тренувань з нейронної мережі та висновку одночасно на Edge Devices, таких як платформи Nvidia Jetson. Ці пристрої часто не мають нативної підтримки одночасного використання GPU та представляють складний ландшафт режимів потужності. Для оптимізації продуктивності за обмеженнями потужності та затримки дослідники розробили інтелектуальний підхід до розсіювання часу, формулюючи проблему оптимізації для переплетення навчальних та висновків, при цьому максимізуючи пропускну здатність тренувань. Ключова мета цієї роботи – мінімізувати потребу в дорогих профілюваннях для досягнення оптимальних конфігурацій.
Для вирішення цієї проблеми оптимізації команда запропонувала дві стратегії: активне відбір проб (ALS) та багатовимірний пошук на основі градієнта на основі градієнта (GMD). GMD швидко досліджує простір рішення, профілюючи між 10 і 15 режимами живлення, щоб досягти рішення протягом 5-10 хвилин для кожної конфігурації. На відміну від цього, ALS проводить більший діапазон 50-150 режимів живлення, займає приблизно 1. 5 годин, але пропонує потенціал узагальнити інші конфігурації проблем із різною швидкістю потужності, затримки та прибуття. Обидві стратегії інтегруються в планувальник під назвою Fulcrum для виконання навантажень.
GMD працює в чотиривимірному просторі розчину, визначеного за допомогою частоти процесора/GPU/пам'яті та кількості ядра процесора, які спільно визначають режим живлення. Метод починається з профілювання початкового режиму живлення і використовує ці знання для обрізання простору пошуку, ітеративно вибору та профілювання наступних режимів потужності. Дослідники продемонстрували, що використання GMD знань домену для керівництва пошуку уникає неправильно обрізати життєздатних кандидатів. Дослідники досліджували взаємозв'язок між частотою GPU та часом тренувань, виявляючи нелінійну кореляцію, де час тренувань спочатку різко скорочується зі збільшенням частоти до плато-плато, тоді як споживання електроенергії постійно збільшується. Ці розуміння повідомили про розробку GMD, що дозволило йому ефективно орієнтуватися на складну взаємодію між продуктивністю та споживанням електроенергії.
Одночасні тренування та висновки DNN на Edge Devices
У цьому дослідженні представлений новий підхід до одночасно управління глибокою навчальною мережею та висновком на пристроях Edge, вирішення обмежень поточних систем у обміні ресурсами GPU та навігації в широкому спектрі режимів електроенергії. Робота зосереджена на інтелектуальному нанесенні часу на ці одночасні навантаження, щоб максимально збільшити продуктивність, при цьому дотримуючись суворої сили та затримки, мінімізуючи потребу в широкому профілювання. Ядро їх системи – це проблема оптимізації, яка переплітає навчальні та висновки міні -малі, динамічно регулюючи режими потужності пристрою та розміри мінібіту. Для вирішення цієї складної оптимізації вчені запропонували дві ключові стратегії: GMD, градієнтний пошук спуску, який профілює лише режими потужності, та ALS, активна методика навчання, яка визначає багаторазові, оптимальні режими потужності, а також мінімізує витрати на профілювання.
Експерименти демонструють, що як ALS, так і GMD перевершують простіші та складніші базові методи, досягаючи успіху в 97% випадків та доставляючи рішення в межах 0. 5% від теоретично оптимальної пропускної здатності. Команда також вдосконалила свій підхід за допомогою ALS, використовуючи активне навчання, щоб зменшити кількість режимів потужності, що вимагає профілювання. Ця методика створює початкову модель нейронної мережі, використовуючи невеликий набір випадково вибраних режимів живлення, а потім ітеративно вибирає додаткові режими на основі їх потенціалу для диверсифікації спостережуваних значень потужності та часу. Отримана система створює частковий фронт Парето, криву, що представляє компроміс між ефективністю та споживанням електроенергії, безпосередньо з профільованих даних, усуваючи помилки прогнозування в процесі оптимізації.
Оптимізація живлення та завдання Jetson
У цьому дослідженні представлений новий підхід до ефективного управління одночасним навчанням глибокої нейронної мережі та висновком на Edge Devices, зокрема платформ Nvidia Jetson. Визнаючи обмеження існуючих систем у обміні ресурсами GPU та орієнтуванні величезної кількості режимів потужності, команда розробила інтелектуальний метод збільшення часу для оптимізації продуктивності, при цьому дотримуючись суворої потужності та затримки. Ядром цього досягнення полягає у формулюванні проблеми оптимізації, яка ретельно переплітає навчальні та умовні завдання, динамічно регулюючи як режим живлення пристрою, так і розмір мінібіалу висновку. Для вирішення цієї складної проблеми дослідники розробили дві інноваційні стратегії оптимізації, GMD та ALS. GMD ефективно шукає оптимальні режими потужності з мінімальним профілюванням, тоді як ALS використовує активне навчання для виявлення багаторазового, оптимального режиму потужності та мінімізації витрат на профілювання.
