Експерти виявили слабкі місця у сотнях тестів, що використовуються для перевірки безпеки та ефективності нових моделей штучного інтелекту.
Як передає Укрінформ, про це повідомляє The Guardian.
Зазначається, що фахівці комп’ютерних наук з Інституту безпеки штучного інтелекту уряду Великої Британії та експерти з університетів Стенфорд, Берклі та Оксфорд вивчили понад 440 тестів, що оцінюють систему безпеки ШІ.
Вони виявили недоліки, що, за їх словами, «підривають правдивість отриманих результатів», та констатували, що майже усі розглянуті тести «мають слабкі місця щонайменше в одній сфері», а отримані оцінки можуть бути «не релевантними або навіть оманливими».
Багато з цих тестів використовуються для оцінки новітніх моделей ШІ, випущених великими технологічними компаніями, зазначив дослідник Оксфордського інтернет-інституту Ендрю Бін, головний автор дослідження.
За відсутності загальнонаціонального регулювання ШІ у Британії та Сполучених Штатах, тести використовують для перевірки того, чи є нові моделі безпечними, чи відповідають вони інтересам людей, і чи досягають заявлених можливостей в аргументації, математиці та кодуванні.
«Тести лежать в основі майже усіх тверджень про досягнення у галузі штучного інтелекту. Але без єдиних визначень і надійних методів вимірювання важко зрозуміти, чи моделі дійсно вдосконалюються, чи це лише видимість», — наголосив Бін.
У межах дослідження розглянули загальнодоступні тести, проте провідні компанії у галузі ШІ також мають власні внутрішні тести, які не були вивчені.
Бін зауважив, що «шокуючим висновком стало те, що лише невелика меншість (16%) тестів використовувала оцінки невизначеності або статистичні методи, щоб показати, наскільки ймовірно, що критерій буде точним. В інших випадках, коли критерії встановлювалися для оцінки характеристик ШІ, зокрема його «нешкідливості», визначення поняття було суперечливим або нечітким, що знижувало користь тесту.
У висновках дослідження йдеться, що існує «нагальна потреба у спільних стандартах і найкращих практиках» щодо ШІ.
Як повідомляв Укрінформ, компанія OpenAI повідомила, що щотижня понад мільйон користувачів ChatGPT обговорюють із чатботом повідомлення, що містять «явні ознаки потенційних суїцидальних планів або намірів».
Фото: freepik
