OpenAI обяви значително постижение в развитието на езиковите модели чрез фино настройване на GPT-2 с помощта на човешки предпочитания. Процесът включва използването на обратна връзка от външни човешки оценители, които оценяват качеството на генерирания текст, за да насочат модела към по-добро съответствие с човешките очаквания.
Какво се случи?
GPT-2, модел с 774 милиона параметри, беше донастроен чрез обучение, базирано на предпочитанията на хора, които оценяваха различни текстови задачи. Особено внимание беше отделено на задачата за обобщаване на текст, където оценителите предпочитаха изречения, директно копирани от оригиналния текст, за да гарантират точност. За тази задача са използвани около 60 хиляди човешки оценки, докато за по-прости задачи като продължаване на текст в различни стилове са били необходими около 5 хиляди оценки.
Защо това е важно?
Този метод на обучение с човешка обратна връзка е ключов за подобряване на безопасността и ефективността на езиковите модели. Той позволява на машините да разбират и отговарят по-добре на човешките ценности и предпочитания, което е критично при приложения, където точността и съобразяването с контекста имат значение. По този начин се намалява рискът от генериране на неподходящо или неточно съдържание, което е особено важно при автоматизирани системи за комуникация и помощ.
По-широк контекст
Обучението с човешки предпочитания е част от по-голямата тенденция в развитието на изкуствения интелект, насочена към създаване на модели, които не само генерират текст, но и разбират нюансите на човешката комуникация. Това е от съществено значение за интеграцията на AI в различни индустрии, включително здравеопазване, образование и обслужване на клиенти, където взаимодействието с хора изисква високо ниво на разбиране и адаптивност.
Какво може да последва?
Този подход към обучение с човешка обратна връзка вероятно ще бъде разширен и към по-големи и по-сложни модели, като GPT-3 и GPT-4, което ще доведе до още по-добро съобразяване с човешките нужди и ценности. Освен това, подобряването на методите за събиране и използване на човешки оценки може да ускори развитието на по-безопасни и надеждни AI системи, които да бъдат по-широко приложими в реалния свят.
