Дані – це знання. Однак багато каналів даних трансформуються в нові структури, причому деякі з них керуються новими підходами до зберігання даних, керування ними та пошуку даних. Ми все ще живемо у світі баз даних, але багато з наших інформаційних ресурсів зараз живлять озера даних, сховища даних і озерця даних, оскільки ми починаємо формувати пакетні продукти даних. Уся ця номенклатура даних означає, що тепер ми можемо говорити про платформи знань і, глибше, платформи знань ШІ.

Що таке платформа знань ШІ?

Народження платформи знань штучного інтелекту відбувається в значній мірі разом із широким впровадженням штучного інтелекту, причому генеративні функції ШІ є основною частиною прогресу. Поява платформ знань ШІ означає фундаментальну зміну в тому, як програми отримують доступ до інформації та використовують її. На відміну від традиційних систем управління знаннями, які зосереджені на співпраці людей і обміні документами, сучасні платформи знань ШІ забезпечують інфраструктуру для програм ШІ для ефективного зберігання, отримання та використання великих обсягів інформації. Ці платформи поєднують інтелектуальні методи представлення, доступу та пріоритезації знань, щоб допомогти програмам ШІ розуміти та отримувати відповідну інформацію з високою точністю та семантичним розумінням.

Як компанія, що розробляє платформу знань штучного інтелекту, в основі якої лежить векторна база даних, Pinecone хоче пояснити, як її технологія допомагає створювати масштабований ШІ з потужними інтегрованими можливостями висновку. Ці нові можливості зосереджені на процесі використання навчених моделей штучного інтелекту для обробки нових даних, зокрема за допомогою моделей керованого вбудовування та переранжування, а також нового підходу до «розрідженого» пошуку вбудовування. Компанія каже, що об’єднала ці елементи зі своїми можливостями «щільного пошуку», щоб створити технологію, яка пропонує гібридний пошук як новий стандарт для ШІ. За мить ми дамо визначення цим термінам.

Тепер Pinecone стає першою компанією, яка займається інфраструктурою штучного інтелекту (так, це щось на кшталт нової підкатегорії, про яку із задоволенням говорять представники технічної торгівлі), яка пропонує кероване та розміщене рішення, яке об’єднує вбудовування, переранжування та векторний пошук у єдиний інтерфейс програмування додатків. Це спрощує раніше складний процес створення додатків штучного інтелекту, які потребують можливостей векторного пошуку.

«Наша мета в Pinecone завжди полягала в тому, щоб розробникам було якомога легше створювати готові до виробництва інтелектуальні додатки штучного інтелекту швидко та в масштабі», — сказав Едо Ліберті, засновник і генеральний директор Pinecone. «Додаючи вбудовані та повністю керовані можливості логічного висновку безпосередньо в нашу векторну базу даних, а також нові функції пошуку, ми не тільки спрощуємо процес розробки, але й значно покращуємо продуктивність і точність рішень на основі ШІ».

Що таке щільне та розріджене пошук?

У світі управління інформацією щільний пошук використовує безперервні багатовимірні векторні представлення (зв’язки між значеннями даних) для побудови відповідей на запит на основі багатого семантичного значення, отриманого з пулу інформації під рукою. Більшість векторів у щільному пошуку мають ненульові значення, тобто вони дійсно щось означають. Якби ми шукали «найкращий стейк-ресторан поблизу мене» в щільній системі пошуку, пошук включав би семантичне значення за найкращим (може бути якістю, може бути співвідношенням ціна-якість), стейком (може бути яловичиною, може бути свининою, може бути вегетаріанська печеня) і поблизу (може означати десять хвилин ходьби, може означати 30 хвилин їзди), перш ніж це дало свої результати.

Навпаки, системи розрідженого пошуку використовують так званий традиційний набір векторних уявлень із низькою розмірністю «мішок слів», де збіги здійснюються на основі існування точних ключових слів. Там, де щільний пошук обчислюється дорого, розріджений пошук, як не дивно, дешевший і швидший. Розріджений пошуковий запит «найкращий стейк-ресторан поблизу мене» дасть лише результати з точним формулюванням і може не включати релевантність місця розташування в цьому прикладі.

Чому пошук має значення

Високоякісний пошук є ключовим для забезпечення найкращого досвіду користувача в пошукових програмах штучного інтелекту та доповненому пошуку. Дослідження Pinecone показують, що найсучасніша продуктивність у цій галузі вимагає поєднання трьох ключових компонентів: щільний векторний пошук для захоплення глибоких семантичних подібностей; швидкий і точний розріджений пошук для пошуку за ключовими словами та об’єктами за допомогою власного алгоритму розрідженого індексування; і моделі переранжування для поєднання щільних і розріджених результатів і максимізації релевантності.

Комбінуючи можливості розрідженого пошуку, щільного пошуку та переранжування в Pinecone, розробники програмного забезпечення зможуть створювати системи наскрізного пошуку, які забезпечують кращу продуктивність, ніж лише щільний або розріджений пошук, стверджує компанія.

«Нові інтегровані можливості висновку Pinecone змінюють правила гри для нас, — сказав Ісаак Пол-Зарецький, технічний директор і співзасновник Pocus, компанії, яка допомагає відділам продажів відстежувати, як клієнти використовують програмне забезпечення. «Можливість мати вбудовування, переранжування та пошук в одному середовищі не тільки спрощує наші робочі процеси, але й забезпечує потужність наших рішень штучного інтелекту з мінімальною затримкою та меншим технічним боргом і покращення продуктивності. Pinecone вже допомагав нам забезпечувати величезну цінність за допомогою точних сигналів для виходу наших клієнтів на ринок, а тепер, завдяки їхній унікальній платформі, ми раді, що можемо забезпечити ще більше».

З випуском інтегрованої можливості висновку Pinecone розробники програмного забезпечення та даних тепер можуть розробляти програми без тягаря керування розміщенням моделі, інтеграцією чи інфраструктурою. Пропонуючи ці можливості за єдиним API, розробники можуть отримати доступ до найкращих моделей вбудовування та переранжування, розміщених в інфраструктурі Pinecone, усуваючи потребу турбуватися про вектори чи дані, які маршрутизуються через кілька постачальників. Кажуть, що ця консолідація спростить розробку, а також підвищить безпеку та ефективність.

Критично важливі робочі навантаження

Рейтинг Pinecone AWS Generative AI Competency визнає компанію як постачальника рішень генеративного штучного інтелекту. Команди програмного забезпечення можуть використовувати Amazon Bedrock Knowledge Bases із Pinecone для створення за допомогою ШІ та зниження операційної складності та витрат. Зокрема, бази знань для Amazon Bedrock забезпечують інтеграцію з Pinecone одним клацанням миші, повністю автоматизуючи прийом, вбудовування та надсилання запитів клієнтським даним як частину процесу генерації LLM.

Цей потік забезпечує основу для штучного інтелекту, забезпечуючи швидший час до отримання вартості та більш обґрунтовані додатки ШІ виробничого рівня. Крім того, клієнти, які використовують бази знань Amazon Bedrock із Pinecone, тепер можуть запускати оцінки RAG безпосередньо в Amazon Bedrock замість того, щоб підключати інструменти сторонніх розробників.

Як компанія, що розробляє інфраструктуру штучного інтелекту, яка зараз надає єдину платформу для висновків, пошуку та управління базою знань, Pinecone каже, що встановлює новий стандарт у галузі. Цей інтегрований підхід незабаром може стати частиною того, як ми говоримо про управління інформацією, яке знаходиться в безпосередній близькості до нашого нового поняття інтелекту та платформи знань у цілому.