Устройство для оценки качества экспертных систем



Устройство для оценки качества экспертных систем
Устройство для оценки качества экспертных систем
Устройство для оценки качества экспертных систем

 


Владельцы патента RU 2466461:

Закрытое акционерное общество "Комплексный технический сервис" (RU)

Изобретение относится к автоматике и вычислительной технике и может быть использовано для оценки качества экспертных систем. Техническим результатом является повышение точности оценки качества экспертных систем за счет учета степени грубости каждой из совершенных ошибок. Устройство содержит блок анализа ответа, дешифратор кодов задания, дешифратор вопросов, формирователь коэффициентов сложности вопросов, формирователь импульсов, дешифратор кодов сложности вопросов, два счетчика, распределитель импульсов, блок адаптивного формирования оценки, индикатор оценки, дешифратор кода уверенности ответа, дешифратор кодов вариантов ошибок, блок анализа ошибок, формирователь коэффициентов ошибок и блок умножения. 1 ил.

 

Изобретение относится к автоматике и вычислительной технике и может быть использовано для оценки качества экспертных систем.

Устройства для оценки ответов учащихся (т.е. качества экспертных систем) широко известны. Они представляют собой устройства (авторское свидетельство СССР 826391, 1981 г.), сравнивающие ответы, поступающие на вопросы, с эталонными. Устройства фиксируют правильные ответы и, в зависимости от количества правильных ответов относительно общего числа вопросов, оценивают учащихся.

Для повышения точности оценки осуществляется учет сложности вопросов и уверенности ответов. Это достигается путем корректирования суммы весов правильно отвеченных вопросов в соответствии со сложностью вопросов и уверенностью ответов.

Наиболее близким по технической сущности к заявляемому устройству является устройство для оценки ответов учащихся, принятое за прототип (авторское свидетельство СССР 830501, 1981 г.). Устройство содержит блок анализа ответа, дешифратор кодов задания, дешифратор вопросов, формирователь коэффициентов сложности вопросов, формирователь импульсов, дешифратор кодов сложности вопросов, два счетчика, распределитель импульсов, блок адаптивного формирования оценки, индикатор оценки, дешифратор кода уверенности ответа, причем блок анализа ответа соединен с дешифратором кодов задания, дешифратором вопросов и формирователем коэффициентов сложности вопросов. Формирователь коэффициентов сложности вопросов соединен с формирователем импульсов, дешифратором кодов сложности вопросов и первым счетчиком. Блок адаптивного формирования оценки соединен с первым счетчиком, дешифратором кодов задания и индикатором оценки. Распределитель импульсов соединен с блоком анализа ответа, формирователем импульсов, дешифратором кода уверенности ответа и вторым счетчиком, подключенным к блоку адаптивного формирования оценки.

Недостатком прототипа является отсутствие учета степени грубости совершенной ошибки при оценке качества экспертных систем, а следовательно, грубые и незначительные ошибки воспринимаются устройством одинаково.

Цель настоящего предложения состоит в обеспечении учета степени грубости каждой из совершенных ошибок при оценке качества экспертных систем.

Поставленная цель достигается тем, что в устройство дополнительно введены дешифратор кодов вариантов ошибок, блок анализа ошибок, формирователь коэффициентов ошибок и блок умножения.

При ответе на вопрос экспертная система (в том числе обучаемый) выбирает ответ из ряда предложенных альтернатив. Качественно результат такого выбора может быть описан кодом ошибки Qi∈{1, 2, 3,…, N}, где i - номер вопроса, а коды от 1 до N имеют, например, при N=4 следующий смысл:

«1» - правильный ответ;

«2» - незначительная ошибка;

«3» - значительная ошибка;

«4» - грубая ошибка.

Количественно качество ответа может быть описано коэффициентом ошибки K_i. При уверенном ответе на вопрос (вероятность правильности выбранной альтернативы выше пороговой) коэффициент ошибки может принимать, например, следующие значения

При неуверенном ответе (вероятность правильности выбранной альтернативы ниже пороговой, но является выше, чем каждой из остальных) на вопрос коэффициент ошибки может принимать, например, следующие значения

Таким образом, количество «баллов», набранных за ответ на i-й вопрос с учетом грубости совершенной ошибки, определяется как K_i*KСЛОЖН_i, где KСЛОЖН_i - коэффициент сложности вопроса.

Структурная схема заявляемого устройства представлена на Фиг.1.

Устройство для оценки качества экспертных систем состоит из блока 1 анализа ошибок, первый и второй входы которого соединены соответственно с вторым выходом дешифратора 2 кодов задания и выходом дешифратора 3 кодов вариантов ошибок, на входы которых подаются соответствующие составляющие кода ответа на вопрос. Второй выход блока 1 анализа ошибок соединен с вторым входом формирователя 4 коэффициентов сложности вопросов, первый вход которого соединен с выходом дешифратора 5 кодов сложности вопросов, на вход которого подается соответствующая составляющая кода ответа на вопрос. Первый выход блока 1 анализа ошибок соединен с вторым входом формирователя 6 коэффициентов ошибок, первый вход которого соединен с выходом дешифратора 7 кода уверенности ответа, на вход которого подается соответствующая составляющая кода ответа на вопрос. Выход формирователя 6 коэффициентов ошибок соединен с первым входом блока 8 умножения, второй вход которого соединен с выходом формирователя 4 коэффициентов сложности вопросов и входом счетчика 9, выход которого соединен с первым входом блока 10 адаптивного формирования оценки, второй вход которого соединен с выходом счетчика 11, вход которого соединен с выходом блока 8 умножения. Третий вход блока 10 адаптивного формирования оценки соединен с первым выходом дешифратора 2 кодов задания, а выход соединен с входом индикатора 12 оценки.

Устройство работает следующим образом. На вход устройства оценки качества экспертных систем подается код ответа на вопрос, содержащий код уверенности ответа, код задания, код сложности вопроса и код вариантов ошибок, показывающий степень грубости ошибки (от «правильный ответ» до «грубая ошибка») для каждого из альтернативных вариантов ответов. Эти коды поступают на соответствующие дешифраторы 7, 2, 5 и 3. В результате на выходе дешифратора 7 уверенности ответа будет код уверенности ответа (0 -«неуверен» или 1 - «уверен»), на втором выходе дешифратора 2 кодов задания будет код варианта ответа, на выходе дешифратора 3 кодов вариантов ошибок будут коды ошибок для всех вариантов ответов (эталон), на выходе дешифратора 5 кодов сложности вопросов - код сложности текущего вопроса. В блоке 1 анализа ошибок выбранный вариант ответа сравнивается с кодами вариантов ошибок и определяется код ошибки Qi полученного ответа.

При поступлении на второй вход формирователя 4 коэффициентов сложности вопросов кода ошибки ответа на i-й вопрос Qi последний на основании кода сложности вопроса с дешифратора 5 кодов сложности вопросов формирует коэффициент сложности текущего вопроса KСЛОЖН_i, соответствующий «весу» вопроса.

На основании поступающего на второй вход формирователя 6 коэффициентов ошибок кода ошибки ответа на 1-й вопрос Qi последний в зависимости от кода уверенности ответа (1 - "уверен", 2 - "неуверен"), который поступает на первый его вход, формирует коэффициент ошибки i-го вопроса KОШ_i, причем в зависимости от уверенности ответа

Значения коэффициентов и выставляются заранее.

В блоке 8 умножения полученные коэффициенты KСЛОЖН_i, и KОШ_i перемножаются и полученное новое значение, соответствующее «баллам» за выданный на i-й вопрос ответ, поступает на суммирующий (если величина положительна) или вычитающий (если величина отрицательна) вход счетчика 11, на выходе которого формируется сигнал, соответствующий общему количеству «баллов», набранных за ответы на все поставленные вопросы.

Счетчик 9 суммирует все коэффициенты сложности вопросов, формируется сигнал, соответствующий KСЛОЖН_i, и на его выходе формируется сигнал, соответствующий сумме весов всех поставленных вопросов.

При ответе на последний вопрос в дешифраторе 2 на основании кода этого вопроса, в котором есть информация о том, что это последний вопрос теста, вырабатывается сигнал номера последнего вопроса. Этот сигнал поступает в блок 10 адаптивного формирования оценки, который по его поступлении на основании суммы «весов» всех вопросов с счетчика 11, суммы «баллов» набранных за ответы на эти вопросы и соотношения, задаваемого в самом блоке 10, формирует итоговую оценку. Визуализацию полученной оценки осуществляет индикатор 12 оценки.

Для предотвращения повторных ответов на вопросы в дешифраторе 2 кодов задания предусмотрено запоминание кодов отвеченных вопросов.

Таким образом, предлагаемое устройство позволяет осуществлять оценку качества экспертных систем с учетом как сложности вопросов и уверенности ответов на них, так и степени грубости допускаемых при ответах ошибок.

Заявитель просит рассмотреть представленные материалы на предмет выдачи патента РФ на изобретение.

Устройство для оценки качества экспертных систем, содержащее дешифратор кода уверенности ответа, дешифратор кодов задания, дешифратор кодов сложности вопросов, формирователь коэффициентов сложности вопросов, два счетчика, блок адаптивного формирования оценки и индикатор оценки, причем на входы дешифраторов кода уверенности ответа, кодов задания и кодов сложности вопросов подаются соответствующие составляющие кода ответа на вопрос, выход дешифратора кодов сложности вопросов соединен с первым входом формирователя коэффициентов сложности вопросов, выход которого соединен с входом первого счетчика, выход которого соединен с первым входом блока адаптивного формирования оценки, второй и третий входы которого соединены с выходом второго счетчика и первым выходом дешифратора кодов задания соответственно, а выход соединен с индикатором оценки, отличающееся тем, что дополнительно введены дешифратор кодов вариантов ошибок, блок анализа ошибок, формирователь коэффициентов ошибок и блок умножения, причем первый и второй входы блока анализа ошибок соединены соответственно с вторым выходом дешифратора кодов задания и выходом дешифратора кодов вариантов ошибок, на вход которого подается соответствующая составляющая кода ответа на вопрос, второй выход блока анализа ошибок соединен с вторым входом формирователя коэффициентов сложности вопросов, а первый его выход соединен с вторым входом формирователя коэффициентов ошибок, первый вход которого соединен с выходом дешифратора кода уверенности ответа, а выход - с первым входом блока умножения, второй вход которого соединен с выходом формирователя коэффициентов сложности вопросов и входом первого счетчика, а выход соединен с входом второго счетчика.



 

Похожие патенты:
Изобретение относится к области технологий компьютерного тестирования при обучении и подготовке специалистов для различных отраслей знаний и специальностей. .

Изобретение относится к вычислительной технике, в частности к системе проведения Интернет-экзамена по дисциплинам профессионального образования, реализующего применение новых информационных технологий в учебном процессе.

Изобретение относится к вычислительной технике, в частности к системе проведения Интернет-экзамена по дисциплинам профессионального образования, реализующего применение новых информационных технологий в учебном процессе.

Изобретение относится к системе образования и обучения. .

Изобретение относится к устройствам обучения и предназначено для использования в различных учебных заведениях с использованием очного и дистанционного форм обучения.

Изобретение относится к области образовательных систем с аудиовизуальными и компьютерными технологиями. .

Изобретение относится к устройствам обучения и предназначено для использования при изучении электротехнических дисциплин. .

Изобретение относится к области технологий компьютерного тестирования при обучении и подготовке специалистов для различных отраслей знаний и специальностей в условиях, когда обучающийся и обучающий лишены возможности прямого контакта.

Изобретение относится к вычислительной технике, в частности к системе дистанционного обучения, используемой для обучения студентов. .

Изобретение относится к средствам обучения, в частности к системе дистанционного обучения, используемой в информационно-маркетинговом центре. .

Изобретение относится к вычислительной технике, в частности к устройствам, используемым для психологических измерений интеллекта. Техническим результатом является повышение оперативности тестирования сложного конструкта инновационного интеллекта личности. Тестер состоит из блоков: управления 1, датчиков 2, кодирования ответов 3, предварительных подсчетов баллов 4, вычисления частных показателей 5, вычисления обобщенного показателя 6, индикации 7, синхронизации 8. Тестер снабжен: P-разрядным и W-разрядным входами исходных данных. Блоки управления 1 и синхронизации 8 совместно с другими блоками и соответствующими связями между ними обеспечивают возможность проведения тестирования произвольного числа испытываемых, оперативное изменение содержания тестов и обработку результатов тестирования. 3 з.п. ф-лы, 17 ил.

Изобретение относится к вычислительной технике, в частности к устройствам психологического моделирования действий лиц, вовлеченных в практически важные ситуации. Техническим результатом от использования заявленного устройства является повышение оперативности оценки характеристик испытуемых. Устройство состоит из блока синхронизации 8, снабженного шиной ввода исходных данных, блоков датчиков 2, кодирования ответов 3, предварительных подсчетов баллов 4, вычисления частных показателей 5, выбора членов коллектива 9, оценки ролевой функции 10, вычисления обобщенного показателя 6, индикации 7 и блока управления 1, снабженного шиной ввода исходных данных. Управляющие входы/выходы блока управления 1 соединены с управляющими выходами/входами соответствующих блоков. Техническим результатом изобретения является повышение оперативности и точности оценки характеристик испытуемых. 5 з.п. ф-лы, 17 ил.

Изобретение относится к вычислительной технике, в частности к устройствам психологического моделирования действий лиц, вовлеченных в практически важные ситуации. Прибор состоит из блока кодирования ответов (БКО), блока вычисления частных показателей (БВЧП), блока индикации (БИ), блока синхронизации (БС), блока предварительных подсчетов баллов (БППБ), блока вычисления обобщенного показателя (БВОП), блока выбора членов коллектива (БВЧК), блока оценки ролевой функции (БОРФ) и блока рейтинговых оценок (БРО). Техническим результатом изобретения является повышение оперативности проведения исследований. Устройство позволяет осуществлять отбор кандидатов по заданным критериям, определять для каждого участника предпочитаемый характер решаемых задач инновационного процесса и выполнять ранжирование кандидатов по значению обобщенного показателя интеллекта с отображением текущего и обобщенного рейтинга каждого испытуемого в группе кандидатов - участников творческого коллектива. 6 з.п. ф-лы, 22 ил.

Изобретение относится к устройству для осуществления таможенного контроля. Технический результат заключается в повышении достоверности получаемых результатов проводимого опроса за счёт получения информации от датчиков психофизического состояния человека в процессе опроса и выполняемого с помощью вычислительного средства анализа этих данных. Устройство содержит корпус, кнопки, соединённые с датчиками для съёма данных психофизических параметров человека, электронный блок и блок питания, электронное табло, а также закреплённые на корпусе более двух кнопок включения устройства с дополнительной функцией установки языка общения, диалоговое окно с возможностью появления в нём вопросов, ответы на которые осуществляют с помощью кнопок с бирками на разных языках «да» и «нет», соединённых с датчиками для снятия данных психофизических параметров человека и передачи их сигналов на электронный блок приёма, хранения, анализа, сравнения и выдачи результатов, при этом при каждом нажатии указанных кнопок электронный блок сохраняет в своей памяти данные о психофизическом состоянии человека, переданные от связанных с этим блоком датчиков для снятия психофизических параметров человека, связанных с соответствующими кнопками с бирками «да» и «нет», для дальнейшего сравнения психофизического состояния человека при ответах на нейтральные вопросы и конкретные вопросы на причастность к преступлению, окно результатов. 1 з.п. ф-лы, 1 ил.
Наверх