что значит асинхронный прокторинг
Онлайн-прокторинг:
для кого, зачем и как он работает
Спрос на онлайн-образование постепенно растет, а онлайн-экзамены и сертификаты давно стали нормой. Однако большинство университетов, школ и других учреждений столкнулось с тем, что в удаленном режиме практически невозможно отследить, насколько ученики вовлечены в процесс обучения. Кроме того, при сдаче экзаменов в онлайн-формате у студентов появляется множество возможностей для списывания и других способов облегчения тестирования.
Коронакризис и вынужденный перевод всех студентов на удаленку поставил перед образовательными учреждениями задачу решить проблемы контроля как можно быстрее. На помощь пришли системы онлайн-прокторинга на основе ИИ-технологий (AI online proctoring).
Что такое онлайн-прокторинг
Типы прокторинга
1. Синхронный прокторинг с прокторами
Обычно используется на письменных экзаменах (тестировании). За ходом экзамена в режиме реального времени наблюдает сторонний проктор. Его задача – контролировать прозрачность проведения экзамена. Проктор проводит идентификацию личности студента, контролирует соблюдение всех процедур и может комментировать действия студента в специальном чате. Ведется видеозапись с двух потоков: с веб-камеры студента и рабочего стола его компьютера. Проктор может прервать экзамен, пометив его как недостоверный, в случае возникновения перечисленных в инструкции нарушений: например, студент списывает и не реагирует на замечания проктора в чате. Один проктор может одновременно сопровождать экзамен для 6 студентов. Это самый точный, но и самый затратный вид прокторинга.
2. Асинхронный прокторинг с постпроверкой
Идентификация личности, а также весь ход экзамена обеспечивается программно, система в автоматическом режиме отслеживает некоторые запрещенные действия:
1. отсутствие в кадре студента;
2. второй человек в кадре;
3. разговор во время экзамена;
4. подключение второго монитора.
3. Автоматический мониторинг
Мониторинг полностью проходит без участия человека. Его главное преимущество – низкая стоимость. Однако во многих ситуациях человеческое участие незаменимо, ведь даже самый совершенный ИИ может ошибаться.
Как работает прокторинг
Для студента процесс онлайн-прокторинга довольно прост и не вызывает стресса. К примеру, у нас в “Экзамус” (Examus) процесс устроен следующим образом:
Перед началом экзамена
Шаг 1. Система прокторинга запрашивает доступ к камере и микрофону.
Шаг 2. Решение удаленного прокторинга проверяет стабильность интернет-соединения.
Шаг 3. Система прокторинга проверяет наличие второго экрана и все попытки симулировать или имитировать экран.
Шаг 4. Процесс идентификации студента (если все вышеперечисленные требования выполнены), то есть тестируемый должен будет сфотографировать себя и представить его в систему вместе с документом, удостоверяющим личность (это могут быть водительские права, студенческий билет или кредитная карта).
Шаг 5. Начните экзамен и покажите свои знания!
Во время экзамена система онлайн-прокторинга анализирует поведение испытуемого. Если учащимся разрешено пользоваться калькуляторами или бумагой и ручкой в определенных ситуациях – правила системы могут быть соответствующим образом скорректированы. Как правило, системы онлайн-прокторинга отслеживают следующие параметры:
• аномалии в направлении взгляда;
• закрытие части лица;
• наличие других лиц в кадре;
• обнаружение человеческого голоса;
• обнаружение переключения монитора;
• обнаружение вторичных гаджетов;
• обнаружение книг и заметок;
• обнаружение калькулятора (если это не разрешено);
• обнаружение широковещательного ПО;
• обнаружение переключения вкладок в браузере;
• обнаружение сторонних алгоритмов;
• обнаружение невербальной коммуникации.
Решение автоматически помечает все подозрительные действия и добавляет их в отчет. Каждая запись в нем включает разбивку по типу нарушения и соответствующую метку времени.
После экзамена
Система прокторинга собирает и объединяет информацию из всех источников в единую комбинированную запись. После этого программа рассчитывает общую вероятность нарушений во время экзамена: зеленая зона означает низкую вероятность, желтая — среднюю, а красная – высокую. Основываясь на полученных результатах, система Examus способна:
• Показать записи с камеры, микрофона и рабочего стола;
• Показать все возможные нарушения в хронологическом порядке;
• Показать подробную информацию по каждому нарушению (с указанием типа и метки времени).
Прокторинг: что нужно знать hr-у
Что такое прокторинг?
Четкого и единого определения в русскоговорящей среде еще не сложилось, сам термин для многих является новым, хотя подобные технологии развиваются уже не один год. Тем не менее, общее определение может звучать так: прокторинг (от англ. «proctor» — надзиратель) — это автоматизированная процедура наблюдения и контроля за дистанционным испытанием.
Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.
То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.
Как работает система прокторинга
Сервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:
Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:
Какие технологии используются в системе онлайн прокторинга?
Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.
Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.
Этапы работы с системой: что делает организатор
Правила проведения: что делает респондент
Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:
Прокторинг в подборе и оценке персонала
Проблема фальсификации результатов оценочных процедур стара как мир. Всем знаком образ школьника, списывающего на контрольной, студента, который сдает экзамен со шпаргалками… И с возрастом это не проходит, напротив, чем дальше — тем выше ставки, и тем сильнее желание попробовать во что бы то ни стало «пройти тест». Тестирование при приеме на работу или формировании кадрового резерва, прохождение аттестации: проблема «списываний» становится головной болью уже не работников сферы образования, а HR-ов. Причем сильной.
HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.
Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.
Конечно, такое дистанционное наблюдение в подборе и оценке персонала прежде всего актуально при тестировании знаний и интеллекта. Что же делать с личностными опросниками? При их применении могут проявиться более тонкие факторы, снижающие достоверность результатов. Например, мотивационные искажения: стремление соответствовать пожеланиям работодателя, выглядеть в лучшем свете («Просто надо быть правдивым, благородным, справедливым, умным, честным, сильным, добрым — только и всего!»). Только лишь наблюдать за респондентом в этой ситуации уже недостаточно. В психометрике есть ответы и на эти вопросы. Всесторонне эта тема раскрыта в статье Алёны Мезенцевой, Руководителя отдела исследований и разработок Лаборатории «Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться».
Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.
Интеграция системы тестирования Maintest и прокторинга
Лаборатория «Гуманитарные Технологии» не является непосредственным поставщиком программного обеспечения для прокторинга. На этом специфическом рынке есть свои профессионалы. У каждого провайдера есть свои возможности и особенности, свой тарифный план. Вы можете выбрать того, кто больше других подходит под требования и условия конкретной процедуры тестирования. А мы предлагаем вам интеграцию систем.
Интеграция — это процесс объединения частей в целое. В данном случае это объединение сеанса тестирования, который осуществляется в нашей оболочке Maintest, с сеансом прокторинга (платформа предоставляется выбранным провайдером). Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest.
На что мы обращаем особое внимание при осуществлении интеграции
Рис. 2 – Предупреждение респондента о нарушении процесса тестирования.
В личном кабинете Maintest пользователь может управлять настройками прокторинга:
Варианты подключения услуги
Авторы: Григорий Красночуб, программист Human Technologies;
Татьяна Преснова, редактор информационных ресурсов Human Technologies.
В вашей почте раз в неделю. А еще: новости, акции и мероприятия для HR.
Прокторинг
| Дисциплина | Дата | Время начала и окончания | Форма | Платформа |
|---|---|---|---|---|
| Линейная алгебра и геометрия |
11.00-13.00 выполнение работы
13.00-13.15 фотографирование и отправка работ
Особенности асинхронного прокторинга
Идентификация личности, а также весь ход экзамена обеспечивается программно, система в автоматическом режиме отслеживает некоторые запрещенные действия, такие как отсутствие в кадре студента, второй человек в кадре, разговор во время экзамена, подключение второго монитора, и помечает видео соответствующего экзамена как недостоверное, но экзамен не прерывает.
Во время экзамена ведется видеозапись с веб-камеры студента и рабочего стола его компьютера, последующую проверку которых осуществляет сотрудник факультета НИУ ВШЭ, который либо подтверждает нарушение процедуры сдачи экзамена со стороны студента, либо признаёт экзамен сданным. Записи экзаменов и иных форм контроля, проведенных с использованием прокторинга, будут сохранены в системе НИУ ВШЭ на длительный срок. Дополнительных согласий и заявлений для этого подписывать не требуется. Видеозаписи могут быть использованы при апелляции по правилам, установленным внутренними нормативными актами НИУ ВШЭ. Объявления, содержащие иную информацию, носят технический характер и не относятся к формам контроля, проводимым в рамках основных образовательных программ НИУ ВШЭ.
Выполнение письменной работы будет проходить в формате полноценной письменной работы: студент пишет ответ на листе бумаги, в конце экзамена фотографирует работу, и загружает файл в поле ответа на платформе. Для фотографирования и загрузки файла студенту предоставляется дополнительное время (20 минут). Использование телефона при фотографировании ответа не будет в этом случае являться нарушением правил прокторинга).
При прохождении экзамена с прокторингом необходимо будет предъявить оригинал паспорта (не скан, не фото, не водительские права; для идентификации экзаменуемого принимается только оригинал паспорта)
Предварительная проверка ПК студента до экзамена
До начала сессии все студенты должны пройти 2 проверки ПК на соответствие техническим требованиям:
Что делать, если ПК не проходит проверку из п.1 выше:
Важно: В случае если по просьбе студента (из-за отсутствия технической возможности) элемент контроля был перенесен на осень, то решение о назначении стипендии и скидки будет принято только осенью после выставления оценки.
Правила проведения итогового тестирования с прокторингом
Размещены в ПУД соответствующей дисциплины, разделе «Текущий контроль», комментари к экзамену: https://www.hse.ru/ba/chem/courses.
Инструкции по проведению процедуры прокторинга (с использованием доступа к системе «Экзамус»)
Что такое система прокторинга и как её обойти
Пандемия показала, что система отечественного образования срочно нуждается в модернизации, а также готовности перейти на онлайн-формат. При этом одни вузы более готовы к ней, другие – менее.
О новостях из жизни разных вузах вы можете читать на нашем телеграм-канале, который постоянно пополняется новостями. А в группе время от времени раздают бонусы и скидки студентам.
Одним из новейших решений стала система прокторинга. О том, что это такое, как оно работает и когда применяется – расскажем далее.
Что такое прокторинг и почему с ним лучше
Личный контакт с преподавателем (особенно на экзамене) многих пугает, как и ожидание перед дверью, тишина и зоркое внимание экзаменатора за каждым движением. Стоило преподавателю просто заподозрить обман. Он мог выставить студента для пересдачи. Это вносило оттенок субъективности.
С онлайн-прокторингом все стало объективнее и проще.
Прокторинг – система контроля на онлайн-экзамене/тестировании. Контроль осуществляет проктор – администратор, который наблюдает за процессом через веб-камеру.
Онлайн-прокторинг позволяет подтвердить личность учащегося, исключить использование шпаргалок и помочь преподавателю объективно оценить знания.
Система появилась в Америке еще в 2008 году
Сегодня технологии прокторинга сильно развиты. Есть 3 вида отслеживания онлайн-тестирования:
Вуз может использовать синхронный прокторинг с помощью программы «Экзамус» (или другой, синхронный с участием проктора) и асинхронный прокторинг (система ведет запись всего процесса с фиксацией нарушений без прерывания экзамена, а запись потом проверяют специальные люди).
Как проходит экзамен во время прокторинга
Экзамен в системе прокторинга можно пройти в любом месте, где есть надежный интернет и веб-камера.
Учащемуся нужно заранее установить на свой компьютер специализированное ПО, которая будет записывать экран.
Процедура выглядит следующим образом:
Что запрещено делать во время прокторинга
Есть четкий порядок действий, которые можно совершать во время экзамена в системе прокторинга. Например, можно пользоваться рукописным конспектом, звонить проктору, если возникли технические проблемы (пропал интернет, отключили свет и т.д.).
А вот чего делать нельзя:
Если проктор обнаружит хотя бы одно нарушение, он зафиксирует все и передаст замечания преподавателю. Если студент совершает сразу несколько грубых нарушений или не реагирует на замечания проктора, экзамен можно прервать или даже аннулировать.
Где можно использовать прокторинг
Эта система, ставшая популярной в сфере образования из-за пандемии, может быть полезной и в следующих сферах:
Советы по подготовке к экзамену в системе прокторинга
Если вы раньше никогда не проходили экзамен с прокторингом, вот несколько советов, которые помогут пройти испытание без лишней нервотрепки и проблем:
Как обойти прокторинг на экзамене
Лучше не искать способы, как обмануть прокторинг. Если у проктора возникнут подозрения, он может досрочно завершить экзамен.
Но некоторых это не пугает. Студенты умудряются подключаться по микронаушнику задолго до начала экзамена. Таким образом можно надиктовать своему помощнику на том конце провода вопрос и прослушать ответ.
Особенно продвинутые качают программы демонстрации экрана. И к моменту начала экзамена помощник студента уже видит по экрану все то же, что видит сам студент. И по тому же микронаушнику получает правильный ответ.
Разработчики не рассказывают о том, какие технологии используют в системе онлайн-прокторинга. Это не только коммерческая тайна, но и способ не дать студентам разобраться в них, чтобы потом искать методы обхода.
С первого взгляда может показаться, что система прокторинга в электронном обучении слишком строга. На самом деле сдать в ней экзамен гораздо проще, чем у преподавателя. Здесь напрочь отсутствует субъективное отношение, человеческий фактор в виде плохого настроения/самочувствия преподавателя. Можно надеяться только на свои знания.
Впрочем, в любом случае у вас всегда будет надежная поддержка в виде сервиса студенческой помощи.
Наталья – контент-маркетолог и блогер, но все это не мешает ей оставаться адекватным человеком. Верит во все цвета радуги и не верит в теорию всемирного заговора. Увлекается «нейрохиромантией» и тайно мечтает воссоздать дома Александрийскую библиотеку.
Главное о прокторинге
Все вступительные испытания пройдут с 11 по 29 июля дистанционно с использованием системы прокторинга.
В формате часто задаваемых вопросов рассказываем вам подробнее о процессе проведения экзамена.
FAQ по прокторингу
Для обеспечения качества и достоверности оценивания в НИУ ВШЭ используются технологии прокторинга (англ. «proctor» – контролировать ход экзамена).
Прокторы, как и на обычном экзамене в аудитории, контролируют, чтобы экзаменуемые проходили испытания честно: выполняли задания самостоятельно и не пользовались дополнительными материалами. Следить за онлайн-экзаменом в реальном времени по веб-камере может как специалист (очный прокторинг), так и программа, контролирующая рабочий стол испытуемого, количество лиц в кадре, посторонние звуки или голоса и даже движения взгляда (киберпрокторинг). Часто используется вид смешанного прокторинга: видеозапись экзамена с замечаниями программы дополнительно просматривает человек и решает, действительно ли нарушения имели место.
Подробнее о технологии проведении прокторинга Вы можете прочитать в инструкции участника, а также в правилах проведения экзаменов с прокторингом.
Базовые инструкции и технические требования указаны в инструкции участника и требованиях к компьютерной технике.
Поступающий не имеет права во время вступительного испытания вступать в разговоры с третьими лицами, использовать справочные материалы (книги, записи и т.д.), любые гаджеты (мобильные телефоны, пейджеры, планшеты и т.д.), наушники, калькуляторы, дополнительные мониторы и компьютерную технику, кроме той, что непосредственно используется для вступительного испытания (за исключением случаев, когда это разрешено правилами конкретного вступительного испытания).
Ваш компьютер должен соответветствовать следующим техническим требованиям.
Согласно пункту 1 постановления Правительства РФ от 08.07.1997 № 828 «Об утверждении Положения о паспорте гражданина Российской Федерации, образца бланка и описания паспорта гражданина Российской Федерации «паспорт гражданина Российской Федерации является основным документом, удостоверяющим личность гражданина Российской Федерации на территории Российской Федерации. НИУ ВШЭ в ходе прокторинга осуществляет идентификацию абитуриента, проходящего элемент контроля, посредством сопоставления лица и представленного им оригинала паспорта.
Для индентификации личности абитуриентам, указавшим загранпаспорт при подаче возможно предоставление для идентификации личности оригинал заграничного паспорта.
После прохождения идентификации возьмите в руки вашу веб-камеру или ноутбук, если камера встроена, и покажите ваш стол, а также комнату вокруг, сфотографируйте экран монитора и покажите фотографию в камеру. Затем уберите телефон, верните камеру на место так, чтобы вас было видно в окошке на панели прокторинга Экзамус по грудь и приступайте к тестированию.
Если у вас моноблок (камера не снимается), возьмите мобильный телефон, сфотографируйте ваш рабочий стол и покажите фото в камеру. После этого уберите телефон со стола.
Вы можете нажать кнопку «начать тестирование» не позднее чем через 30 минут после указанного в расписании времени старта экзамена. После этого начало экзамена в системе станет для вас недоступно.
Отсчет времени экзамена начинается с того момента, как вы нажмете на кнопку «начать тестирование». Время, затраченное на идентификацию и проверку системой прокторинга, не входит во время экзамена.
В случае технического сбоя оборудования или отсутствия интернета во время проведения экзамена не по вине абитуриента, допускается повторная сдача в резервный день. При возникновении технического сбоя абитуриент должен незамедлительно, в день проведения экзамена, но не позднее 23:59 по московскому времени, проинформировать приемную комиссию по адресу электронной почты о невозможности продолжать экзамен.
Приемная комиссия рассматривает обращение абитуриента, и при подтверждении случая технического сбоя не по вине абитуриента, допускается сдача экзамена в резервный день.
При возникновении сильного шума во время экзамена проктор или система прокторинга отметит это как нарушение, но экзамен не будет прекращен.
При синхронном прокторинге за проведением экзамена наблюдает проктор — специально обученный человек. Задача проктора — не «завалить» абитуриента, а контролировать ход экзамена, и гарантировать достоверность самой процедуры оценивания. Во время синхронного прокторинга у абитуриента есть возможность задать вопрос проктору (не по содержанию экзамена) в чате для общения.
Чаще всего у проктора спрашивают, сколько времени осталось до конца экзамена и что нужно делать, если экзамен закончил досрочно.
При серьезных нарушениях (абитуриент встает с места, открывает посторонние вкладки на компьютере, говорит громко вслух, общается с посторонними лицами, абитуриенту помогают с решением задания, пользуется заранее заготовленными записями, гаджетами, игнорирует комментарии проктора) проктор отметит эти действия как нарушения и отправит абитуриенту предупреждение в чат. При нескольких серьезных нарушениях, если абитуриент не реагирует на замечания, проктор может отметить экзамен как недостоверный.
При асинхронном прокторинге система автоматически запишет ход экзамена без отправки предупреждений абитуриенту. После экзамена сотрудник ВШЭ сможет отсмотреть видео экзамена и подтвердить / опровергнуть возможное нарушение. Сотрудник, который проверяет видеозаписи, знает правила проведения экзамена (чем было можно пользоваться в процессе сдачи: черновики, справочные материалы в бумажном и электронном виде, калькуляторы). Все нестандартные ситуации, на которые абитуриент не может повлиять, рассматриваются с точки зрения здравого смысла и рационального подхода (у абитуриента упала ручка — он наклонился ее поднять, на стол запрыгнула кошка, внезапно заплакал ребенок в соседней комнате, позвонили в дверь и т. д.).
Да, это возможно. Вам придет письмо с приглашением сдать пробный экзамен. Это будет аналогом настоящего экзамена.
Быстро написать по адресу helpexam@hse.ru, в теме письма указав фамилию, регистрационный номер, название экзамена и кратко описать проблему.
Можно. Беспокоиться стоит тем абитуриентам, которые на протяжении всего экзамена регулярно отводят взгляд с экзаменационного задания на посторонние предметы с целью списывания.