Дорогі колеги, просимо вас до 15 травня надіслати письмовий відгук на кваліфікаційну роботу студента(-ки). Відгук є важливою частиною процедури захисту, адже демонструє не лише рівень готовності роботи, але й характеризує сам процес співпраці та зусилля студента протягом її виконання. У своєму відгуку рекомендуємо звернути увагу на такі аспекти:

• Огляд кваліфікаційної роботи: Підсумувати основну тему, цілі та актуальність дипломної роботи. Написати про оригінальність роботи, особливо якщо вона досліджує нову тему, або застосовує нові методології.
  • Робота створює український датасет для benchmarking LLM, який оцінює їх логічні здібності. Тема створення нових ресурсів українською завжди актуальна, і датасету для оцінки логічного мислення українською на даний момент не існує. Підхід: генерація питань за допомогою templates по чотирьом правилам формальної логіки.
• Якість написання кваліфікаційної роботи: Зазначити якість написання, організацію та структуру дипломної роботи. Оцініть чіткість, послідовність і точність аргументів студента(-ки), а також те, наскільки ефективно вони були представлені.
  • Робота гарно написана і структурована.
• Академічні та технічні компетенції: Зазначити рівень технічних або предметних знань студента(-ки), що мають відношення до диплому. Зазначити здатність працювати з академічними ресурсами, розуміти складні концепції та інтегрувати теорію з практичним досвідом.
  • Фактичні знання на високому рівні для студента-бакалавра, здатність швидко розуміти, обробляти і застосовувати нові ідеї дуже високі.
• Оцінка дослідницьких навичок студента. Оцінити здатність та розуміння студентом використовувати відповідні інструменти та методи, ретельність їхніх застосувань.
  • Дослідницькі навички Андрія дуже високі, і було дуже приємно спостерігати за процесом написання роботи. Обробивши літературу по benchmarking, Андрій сам (вчасно) знайшов цікаву для себе конкретну тему, на яку сфокусувався, і грунтовно обробив.
  • Під час аналізу датасету і результатів у нас були розмови про метрики і їх доцільність застосування, інформації, яку вони дають - Андрій чітко усвідомлював, які метрики він використовує, і для чого.
• Здатність вирішувати проблеми. Описати підхід студента до вирішення проблем, з якими він/вона зіткнувся(-лась) в процесі дослідження. Зазначити будь-які помітні приклади критичного мислення, адаптивності або творчих рішень, які були продемонстровані.
  • Умовно-наукові проблеми вирішувались самостійно, і кожен раз, коли були питання до мене вони були а) конкретними, б) з своїми думками і ідеями для вирішення.
  • Проблеми технічного плану вирішувалися швидко і прагматично: під час роботи не губилося бачення цілі, фокус не губився на цікаві але несуттєві питання і деталі імплементації. Наприклад, Телеграм-бот був написаний дуже швидко і з продуманим алгоритмом зваженого підбору питань.
• Незалежність дослідження. Оцінити цілеспрямованість студента(-ки) та управління часом. Звернути увагу на те, наскільки самостійно студент(-ка) працював(-ла), як реагував(-ла) на зауваження та прагнув(-ла) вдосконалити свою роботу.
  • Андрій знайшов цікаву для себе тему, йому було цікаво дізнатися і проаналізувати результати evaluation моделей, і він туди йшов зі своєю власною мотивацією. Андрій критично оцінював мої підказки і думки в процесі (не сприймаючи на віру) і дуже швидко обдумував і імплементовував релевантні з них.
  • Управління часом було на високому рівні - наприклад, human evaluation означало написати бота і зібрати відповіді людей - Андрій почав і закінчив весь цей процес дуже завчасно.
  • Під час написання самого тексту роботи, найцікавіші частини (про технічні рішення і аналіз результатів) писались останніми, але передають потрібну інформацію.
• Внесок і вплив. Зазначити будь-який внесок, який студент(-ка) зробив(-ла) у галузь або тематику, якщо це доречно.
  • Створення нового датасету, несхожого на існуючі, є цінним внеском.
• Загальна оцінка та потенціал для майбутніх досліджень. Дати загальну оцінку кваліфікаційної роботи та роботи студента. За бажанням, надати коротку перспективу щодо потенціалу студента для майбутніх досліджень або професійного зростання в цій галузі.

• ~~Під час аналізу датасету і результатів у нас були розмови про метрики і їх доцільність застосування, інформації, яку вони дають - Андрій чітко усвідомлював, які метрики він використовує, і для чого. ~~

Відгук на роботу студента Андрія Білинського, групи ПСА-21 Б.

• Робота створює український датасет для benchmarking LLM, який оцінює їх логічні здібності. Тема створення нових ресурсів українською завжди актуальна, і датасету для оцінки логічного мислення українською на даний момент не існує. Підхід: генерація питань за допомогою templates по чотирьом правилам формальної логіки.

• Фактичні знання Андрія на високому рівні, як і здатність швидко розуміти, обробляти і застосовувати нові ідеї.

• Дослідницькі навички Андрія дуже високі, і було дуже приємно спостерігати за процесом написання роботи. Почавши з широкої теми benchmarking, Андрій сам (вчасно) знайшов цікаву для себе конкретну тему, на яку сфокусувався, і грунтовно обробив.

• Було дуже помітно, наскільки Андрію було цікаво працювати над дослідженням, створювати датасет, дізнаватися і аналізувати результати моделей на ньому — і він рухався виключно своєю власною мотивацією.

• Андрій очевидно глибше мене розбирався в темі своєї роботи, і не всі мої ідеї були доцільними чи вірними. Мої підказки і думки в процесі написання роботи Андрій сприймав з цікавістю і критично аналізував, ми обговорювали їх, і на виході імплементовувалися тільки доцільні з них, часто в покращеному вигляді. Сприйняття критики і прагнення покращити своє дослідження і роботу було справді зразковим.

• Під час написання самого тексту роботи, найцікавіші частини (про технічні рішення і аналіз результатів) писались останніми, вони передають потрібну інформацію але не обʼєм виконаної роботи. Під час виконання самого дослідження, управління часом було на високому рівні - наприклад, human evaluation означало написати бота і зібрати відповіді людей - Андрій почав і закінчив весь цей процес дуже завчасно.

• Окремо відмічу процес підбору питань у цьому боті - я б створив Х датасетів з фіксованими питаннями, і отримував би відповіді по черзі, переходячи до наступного як тільки попередній завершений. Андрій зробив підбор питань таким чином, що все автоматично балансувалося, збільшуючи кількість питань у всіх датасетах рівномірно.

• Фактичний результат роботи — створення нового датасету нового (для українського NLP) типу — є цінним внеском.

• Загальна оцінка: 98. Робота цікава, важлива і гарно написана, і потенціал студента для майбутніх досліджень я оцінюю як дуже високий.

09 травня 2025, Гамоцький Сергій

ChatGPT version

Відгук на кваліфікаційну роботу студента Андрія Білинського, група ПСА-21Б

Актуальність і новизна. Робота вирішує нагальну для українського NLP проблему нестачі ресурсів, придатних для оцінювання логічних здібностей LLM-ів. На сьогодні подібних відкритих датасетів українською мовою немає, що робить внесок студента унікальним і практично значущим. Підхід роботи: генерація питань за допомогою templates по чотирьом правилам формальної логіки.

Структура й виклад матеріалу. Текст роботи логічно організований, кожен розділ має чітку мету та зв’язок із попереднім. Автор послідовно переходить від огляду літератури до постановки задачі, опису методології, результатів експериментів та їх критичного аналізу. Виклад відзначається лаконічністю, дотриманням наукового стилю й відсутністю зайвих відхилень.

Теоретична підготовка та технічні компетенції. Технічні знання Андрія на високому рівні, як і здатність швидко розуміти, обробляти і застосовувати нові ідеї. Студент швидко опановує нові концепції і коректно інтегрує теорію з практикою, що перевищує звичний рівень бакалаврських робіт.

Дослідницькі навички й уміння вирішувати проблеми. Студент самостійно звузив тему до релевантної ніші, сформулював чіткі дослідницькі питання та підібрав адекватні метрики. Усі методичні рішення (зокрема реалізація Telegram-бота для human-evaluation та алгоритм зваженого підбору питань) ухвалювалися з урахуванням кінцевої мети, без втрати фокусу на суттєвому. Запропоновані технічні рішення вирізняються практичністю й елегантністю. Окремо відмічу процес підбору питань у Telegram-боті - я б створив Х датасетів з фіксованими питаннями, і отримував би відповіді по черзі, переходячи до наступного як тільки попередній завершений. Андрій зробив підбор питань таким чином, що все автоматично балансувалося, збільшуючи кількість питань у всіх датасетах рівномірно.

Самостійність і тайм-менеджмент. Андрій ефективно планував роботу: критичні етапи, зокрема створення боту і збір відповідей для ручної перевірки, були виконані завчасно. Він уважно ставився до зауважень, однак оцінював їх критично і впроваджував лише обґрунтовані, нерідко пропонуючи поліпшення.

Внесок у галузь і перспективи. Створений датасет становить цінний ресурс для спільноти та може слугувати відправною точкою для подальших досліджень українською мовою. Студент продемонстрував потенціал для самостійної наукової роботи й готовність до складніших дослідницьких завдань.

Загальна оцінка. Робота вирізняється високим рівнем виконання і практичною значущістю. Оцінка — 98/100 (відмінно). Рекомендую допустити автора до захисту та заохочувати його подальшу наукову діяльність.

09 травня 2025 р. Гамоцький Сергій, керівник роботи