THE USE OF DATA MINING IN THE STUDY OF THE DYNAMICS OF PERSONAL GROWTH AMONG CADETS OF A DEPARTMENTAL UNIVERSITY OF THE FPS OF RUSSIA
Rubrics: WITHOUT RUBRIC
Authors:
1.
Russian Academy of Education
Russian State Social University
St. Petersburg Military Order of Zhukov Institute of Troops of National Guard of the Russian Federation
Russian Federation
Russian State Social University
St. Petersburg Military Order of Zhukov Institute of Troops of National Guard of the Russian Federation
Russian Federation
2.
Academy of the FPS of Russia
Type:
Article
Pages:
from 86
to 95
Status:
Published
Received:
15.03.2022
Accepted:
28.03.2022
Published:
28.03.2022
Subject area:
UDK 159.923:343.83
Language:
Russian
Keywords:
data mining, kursanty, iskusstvennaya neyronnaya set', psihologicheskie issledovaniya, profilaktika otchisleniy, psihologicheskoe soprovozhdenie
Abstract (English):
Research in the field of computer technology and the creation of new software products are extremely relevant today. These spheres develop related scientific fields. Data mining is one of the key concepts of modern science, a method capable of introducing new trends into established tools for extracting new knowledge. Today it is actively used in psychological research (E. V. Slavutskaya, T. A. Nestik, A. B. Mosyagin etc.). This method has a philosophical foundation in the form of a branch of mechanicism - connectionism. One of the most promising areas of Data mining, in our opinion, is neural networks. An artificial neural network is an algorithm that allows you to make decisions about subjects by distributing them into groups. The authors carried out work on the creation of an artificial neural network on the basis of the Academy of the Federal Penitentiary Service of Russia as an effective tool for psychological support of cadets of departmental universities of the Federal Penitentiary Service of Russia, developed a program for the prevention of expulsions of cadets from the university. The purpose of the study is to consider the theoretical foundations of the concept of Data mining in psychology; to analyze the possibility of using some Data mining methods in psychology; to describe practical examples of the use of Data mining methods. Cadets of the Academy of the Federal Penitentiary Service of Russia were as the basis for the study, surveys of August 2019 were used to create an artificial neural network, to test the hypothesis and create a prevention program - surveys of 2021. A total of 548 cadets took part in the study. The following methods of testing were chosen: Questionnaire of self-attitude (V. V. Stolin, 1985); Diagnostics of "emotional intelligence" (N. Hall); Questionnaire "Structure of individual legal consciousness" (D. V. Sochivko, T. A. Simakova); Self-actualization test (SAT); Questionnaire of psychodynamic typology of prosocial (distant) behavior (D. V. Sochivko). These data served as the basis for the development and creation ofTABLE OF CONTENTS AND ABSTRACTS 131an artificial neural network, which subsequently analyzed the data of future employees enrolled in the first year.
Research in the field of computer technology and the creation of new software products are extremely relevant today. These spheres develop related scientific fields. Data mining is one of the key concepts of modern science, a method capable of introducing new trends into established tools for extracting new knowledge. Today it is actively used in psychological research (E. V. Slavutskaya, T. A. Nestik, A. B. Mosyagin etc.). This method has a philosophical foundation in the form of a branch of mechanicism - connectionism. One of the most promising areas of Data mining, in our opinion, is neural networks. An artificial neural network is an algorithm that allows you to make decisions about subjects by distributing them into groups. The authors carried out work on the creation of an artificial neural network on the basis of the Academy of the Federal Penitentiary Service of Russia as an effective tool for psychological support of cadets of departmental universities of the Federal Penitentiary Service of Russia, developed a program for the prevention of expulsions of cadets from the university. The purpose of the study is to consider the theoretical foundations of the concept of Data mining in psychology; to analyze the possibility of using some Data mining methods in psychology; to describe practical examples of the use of Data mining methods. Cadets of the Academy of the Federal Penitentiary Service of Russia were as the basis for the study, surveys of August 2019 were used to create an artificial neural network, to test the hypothesis and create a prevention program - surveys of 2021. A total of 548 cadets took part in the study. The following methods of testing were chosen: Questionnaire of self-attitude (V. V. Stolin, 1985); Diagnostics of "emotional intelligence" (N. Hall); Questionnaire "Structure of individual legal consciousness" (D. V. Sochivko, T. A. Simakova); Self-actualization test (SAT); Questionnaire of psychodynamic typology of prosocial (distant) behavior (D. V. Sochivko). These data served as the basis for the development and creation ofTABLE OF CONTENTS AND ABSTRACTS 131an artificial neural network, which subsequently analyzed the data of future employees enrolled in the first year.
Keywords:
data mining, kursanty, iskusstvennaya neyronnaya set', psihologicheskie issledovaniya, profilaktika otchisleniy, psihologicheskoe soprovozhdenie
data mining, kursanty, iskusstvennaya neyronnaya set', psihologicheskie issledovaniya, profilaktika otchisleniy, psihologicheskoe soprovozhdenie
Введение Использование новых методов обработки информации открывает позитив- ные перспективы поиска новых знаний, в том числе психологических. Матема- тические знания в симбиозе с вычислительной мощностью компьютеров (ЭВМ) могут дать психологической науке мощный толчок развития. Использование ин- новаций имеет в своем фундаменте философские знания, метод data mining не стал исключением. Предпосылки метода лежат в философии механицизма, а конкретнее - в его ответвлении - коннекционизме. Коннекционизм (от англ. connectionism от connection - связь): 1) психологическое направление, заявлен- ное в работах Э. Л. Торндайка, посвященных исследованию законов научения как формирования связей меж ду стимулом (ситуацией) и реакциями организ- ма; 2) направление когнитивной науки, обозначаемое как нейронные сети [1]. По нашему мнению, определение данного понятия заужено, необходимо включить в него не только нейронные сети, но и все смежные методы, которые возможно объединить общим термином «data mining», то есть добыча данных. Data mining - это собирательное значение для методов, дающих возможность ори- ентироваться в потоке информации, необходимых для принятия решений в различных сферах человеческой деятельности. Данный термин был впервые введен Г. И. Пятец- ким-Шапиро. Огромный прогресс виден и в text mining (большинство программных ком- плексов для data mining теперь включают в себя компоненты для text mining), а также в multimedia mining. И то и другое - прекрасные области для исследований [2]. Data mining - это процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей (шаблонов информации) [3]. Использование в практической области data mining достаточно распростране- но. Существуют научные исследования, связанные с этим методом, в том числе отечественные. А. Б. Мосягин использовал методологию data mining при решении задач обработки социальных данных [4]. Т. А. Нестик, А. Л. Журавлев исследовали результаты сбора и учета больших данных, характеризующих реальное поведение людей, а также последствия влияния больших данных на общество, социальные науки и психологическое знание [5]. Р. Б. Куприянов, Д. Л. Агранат, Р. С. Сулейманов не только применили data mining в психологическом знании, но и выстроили систему индивидуальных образовательных траекторий [6]. На сегодняшний день есть при- меры законченных исследований в психологической науке с использованием искус- ственной нейронной сети (ИНС) (А. А. Арзамасцев, П. А. Азарова, Н. А. Зенкова [7], Е. В. Славутская, В. С. Абруков, Л. А. Славутский [8], М. Г. Доррер [9] и др.). Методы Data mining можно условно разделить на три уровня [10]: поверхностный - по аналогии с психодиагностикой это простая первичная обра- ботка данных. Цифровое представление ответов на стимулы в шкалах методики; неглубокий - по той же аналогии. Это статистическая обработка данных, то есть применение различных критериев (t-Стьюдента) для подтверждения гипотез; скрытый - раскрывается понятие коннекционизма. Обработка данных происходит с элементами искусственного интеллекта, нейросетевого анализа и др. Рассмотрим применение data mining в психологических исследованиях более под- робно. Следует обозначить методы, которые, по нашему мнению, могут быть использо- ваны в психологических исследованиях: муравьиный алгоритм, искусственная нейрон- ная сеть, клеточный автомат, генетический алгоритм (табл. 1). Именно в такой после- довательности от менее требовательных к вычислительным мощностям ЭВМ к более требовательным. Таблица 1 Методы data mining в психологии Метод data mining Область применения в психологии Ресурсозатратность 1 2 3 Муравьиный алгоритм Данный подход к поиску оптимального пути пред- ставлен в вычислениях, производимых компью- терами. Если за оптимальный путь принять пси- хологические параметры, подходящие, напри- мер, под определенный род деятельности (по примеру профессионального психологического отбора), то алгоритм в вычислениях подберет те значения из имеющихся, которые будут мак- симально подходить под заявленные психоло- гические требования (например, кандидатов на должность) Ис поль зование мощнос ти ЭВМ невелико, но пропорци- онально количеству точек оп- тимизации пути ИНС Использование ИНС дает существенные преи- мущества по сравнению с муравьиным алгорит- мом. ИНС не только анализирует оптимальный путь, но и прогнозирует успешность его нахожде- ния, вычисляет и анализирует связи имеющихся значений Ис поль зование мощнос ти ЭВМ достаточно велико, но пропорционально входящим данным и количеству скрытых слоев Окончание таблицы 1 1 2 3 Клеточный автомат Использование клеточного автомата - это уро- вень взаимодействия между данными психоло- гического характера. Каждый представленный населяющий клеточный автомат бот включает в себя ИНС, а она соответственно муравьиный алгоритм. Таким образом клеточный автомат соз- дает условия, вычисляет и анализирует взаимо- действие связей существующих значений Ис поль зование мощнос ти ЭВМ велико и не хватит для полноценного моделирования в полном объеме человека. На сегодняшний день пред- ставляется возможным ис- пользование в анализе про- стейших микроорганизмов, вирусов, бактерий Генетический алгоритм Использование генетического алгоритма в автор- ском представлении именно как обобщающего метода, применимого в связке с клеточным авто- матом, ИНС, муравьиным алгоритмом, позволит создавать новые значения Ис поль зование мощнос ти ЭВМ велико. На сегодняшний день не представляется воз- можным Муравьиный алгоритм - один из методов искусственного интеллекта, предложенный М. Дориго. Основная идея алгоритма подсмотрена в природе и имитирует движение колонии муравьев [11]. Искусственная нейронная сеть - математическая модель, а также ее программное или аппаратное воплощение, построена по принципу организации и функционирова- ния биологических нейронных сетей - сетей нервных клеток живого организма [12]. Клеточный автомат - среда обитания, закольцованная внутри себя, созданная модель программной реальности с моделируемыми законами, ресурсами, напол- няемая искусственными программируемыми организмами (ботами), по аналогии с природой - вода и одноклеточные организмы. Клеточные автоматы - это «дискрет- ные динамические системы, поведение которых полностью определятся в терми- нах локальных зависимостей... в информатике они являются аналогом физического понятия «,,поле’’» [13]. Генетический алгоритм - это алгоритм поиска, используемый для решения задач оптимизации и моделирования путем случайного подбора. Создатель этого метода Н. А. Барричелли был одним из пионеров эволюционных вычислений [14]. В практическом исследовании, проведенном нами на базе Академии ФСИН России, применялась ИНС по следующим причинам: во-первых, ИНС - один из самых развитых и наиболее исследованных в практическом аспекте методов, о чем уже упоминалось ранее; во-вторых, относительно небольшое использование ресурсов в построении ИНС, развитые программные комплексы для обработки данных ИНС. ИНС весьма многочис- ленны. Классификация ИНС выглядит следующим образом: по типу организации слоев ИНС: полносвязные нейронные сети - структуры, в которых каждый нейрон сети имеет прямую связь с другими нейронами; многослойные нейронные сети (перцептроны) - нейроны объединяются в слои, со- держащие совокупность нейронов с едиными входными сигналами. Могут содержать входной, выходной и N промежуточных слоев; типу входной информации: аналоговые нейронные сети - используют информацию в форме действительных чисел; двоичные нейронные сети - оперируют с информацией, представленной в двоич- ном виде; образные нейронные сети - оперируют с информацией, представленной в виде образов: знаков, иероглифов, символов; характеру настройки синапсов: сети с фиксированными связями - весовые коэффициенты нейронной сети выби- раются сразу, исходя из условий задачи; сети с динамическими связями - для них в процессе обучения происходит настрой- ка синоптических связей. характеру обучения: нейронные сети, использующие обучение с учителем; нейронные сети, использующие обучение без учителя; смешанная парадигма обучения. Рассмотрим структуру ИНС. Основой нейросети служит нейрон, который состоит из входных данных (Х), весов связей (W), сумматора, функции активации, выходных данных (Y). Входные данные - это данные числового вида, которые могут поступать из любых источников, например данные о набранных баллах испытуемых при проведении психоди- агностики. Веса связей - результат обучения ИНС, то есть изменяемые числа, благодаря которым ИНС обретает «опыт» предыдущих итерацией. Сумматор и функции активации - внутренние инструменты ИНС, необходимы для ее функционирования (рис. 1). В нашем иссдедовании ИНС создавалась с использованием следующих программ- ных продуктов: IBM SPSS 22.0, Neural Excel, STATISTICA 13.3 Automated Neural Networks. Данные программы работали независимо друг от друга, что также позволяло увели- чить прогноз и валидность результатов. Критериями успешно созданной ИНС послу- жили: высокий прогноз (минимум 85 %), стремление к минимальной вычислительной мощности, что уже обсуждалось в научном сообществе как оптимальное значение [15]. В качестве прототипа ИНС был выбран многослойный перцептрон. Для «обучения» Х , Х , Х Рис. 1. Многослойная ИНС: данные психодиагностического обследования клиента 1 2 3 (ответ на вопросы или баллы шкал); W , W , W веса ИНС (изменяемые коэффициенты 1 2 3 с целью оптимального результата); Y ,Y , Y результат прогноза или псевдовероятность 1 2 3 ИНС использовались «сырые» баллы методик: Опросник самоотношения (В. В. Столин, 1985); Диагностика эмоционального интеллекта (Н. Холл); Опросник «Структура инди- видуального правосознания» (Д. В. Сочивко, Т. А. Симакова); Самоактуализационный тест (САТ); Опросник психодинамической типологии просоциального (дистантного) по- ведения (Д. В. Сочивко). Ход создания ИНС выглядел следующим образом. Данные эмпирического обсле- дования курсантов были переведены в матрицу данных Excel, где курсанты, отчислен- ные по отрицательным мотивам, составляли отдельную группу. В качестве входящих нейронов выступали набранные баллы по шкалам и ответы испытуемых на стимулы перечисленных методик, в качестве выходных нейронов - результаты классификации по параметру «отчислен» - «не отчислен», то есть вероятность принадлежности к груп- пе, представленная в процентах. Всего нейронов в ИНС 1118, входящих нейронов - 10, скрытых нейронов - 10, выходов - 2, функция активации - экспонента, Softmax. Результаты Обязательным условием стабильной работы ИНС является процесс обучения - порядок подбора коэффициентов (W) с помощью метода обратного распростране- ния ошибки. Заключается он в зависимости коэффициента (W) от результата ана- лиза ИНС (в нашем случае принадлежность к группе отчисленных курсантов). При первой итерации коэффициенты (W) подбираются случайно, а далее корректируют- ся разностью промежуточного результата вывода ИНС. Основная цель данного ме- тода состоит в обучении ИНС определению максимально схожего значения в группе отчисленных курсантов. На практике это выглядело следующим образом. В августе 2019 г. было проведено обследование 273 курсантов Академии ФСИН России по ме- тодикам, упоминавшимся ранее. Принадлежность к факультетам, демографические данные не учитывались. На момент августа 2021 г. 25 курсантов было отчислено из Академии ФСИН России по следующим причинам: слабая успеваемость, низкая дис- циплина и по собственному желанию (отсутствие мотивации к учебе, плохая адап- тация и т. п.). 248 курсантов из обследованных продолжали обучение в Академии ФСИН России. Группу отчисленных курсантов разделили пропорционально: 70 и 30 %. Большую часть использовали для обучения ИНС, меньшую - в качестве проверки ре- зультатов обучения. Обучение ИНС происходило с помощью программы IBM SPSS Statistics 22.0 и STATISTICA 13.3 Automated Neural Networks. В результате анализа было выявлено, что ИНС вполне справляется с поставленны- ми задачами и может с высокой вероятностью предсказывать результат отчисления. В результате обученная ИНС смогла предсказать 88 % отчисленных курсантов (табл. 2). Таблица 2 Результаты работы созданной ИНС Группы Количество курсантов Отчисленопо мнению ИНС Обучаютсяпо мнению ИНС Точность прогноза ИНС, % Отчисленные 25 22 3 88 Обучающиеся 248 29 219 89 Работа обученной ИНС заключалась в следующем. В августе 2021 г. проведено пси- хологическое обследование курсантов первого курса набора 2021 г. по методикам, упо- мянутым выше. Всего обследовано 275 чел. Данные психодиагностики загружались в Самоуважение Социальная тревожность Самодистанцирование Ответственность Интегральное чувство за или против Управление своими эмоциями Нарциссизм Ориентация во времени Распознавание эмоций других людей Самодистанцирование Управление своими эмоциями Сензитивность 0 0,005 0,01 0,015 0,02 0,025 0,03 0,035 Рис. 2. Нормализованная важность параметра обученную ИНС, которые она анализировала. В результате анализа из 275 курсантов 19 были помечены как отчисленные. Тем самым ИНС обозначила группу курсантов, ко- торые могут быть отчислены. В упомянутых программных комплексах существует функция, благодаря которой возможно наблюдать, на какие данные ИНС опиралась при составлении прогноза, и выстроить их в иерархию. Программная платформа IBM SPSS Statistics 22.0 создает иерархию важности компонентов, данный параметр имеет название «Нормализован- ная важность». Программный комплекс STATISTICA 13.3 Automated Neural Networks имеет отличное название этой функции - «Сенсорная чувствительность ИНС». Такая функция позволяет выявить степень значимости того или иного показателя на выход- ные решения. Она оценивает прогнозную силу каждого отдельного параметра и на его основе ранжирует факторы. На рисунке 2 представлены наиболее значимые перемен- ные, которые имелись в нашей сети при ранжировании с помощью показателя норма- лизованной важности. На левой стороне рисунка 2 - название шкал перечисленных методик, то есть фак- торы, качества, умения - то, что описывают эти шкалы, на правой - количественное выражение, вклад данных шкал в структуру ИНС. Другими словами, баллы шкалы «Самоуважение» методики «Самоактуализационный тест» на уровне 3,5 % влияют на результата прогноза ИНС. Значит, для профилактики отчисления из вуза необходимо корректировать уровень самоуважения курсанта. На основе описанных исследований была создана программа профилактики. Данная программа включала в себя блок психодиагностики и сессии индивидуальных консуль- тативных встреч с курсантами, которых ИНС отметила как отчисленные. Уникальность программы заключается в ее универсальности. Программу возможно модифицировать таким образом, что в поле ее зрения будут попадать любые респонденты с заданны- ми характеристиками. Цель программы - это диагностика и профилактика негативных психологических особенностей курсантов ведомственных вузов ФСИН России, которые способствуют их отчислению. Задача программы - диагностировать респондентов, БЛОК 1 Ввод данных БЛОК 4 Коррекция ИНС БЛОК 2 Создание и обучение ИНС БЛОК 3 Использование ИНС в работе Рис. 3. Схема работы психодиагностики с помощью ИНС выявлять из их числа нуждающихся в психологической помощи, указывать психологу психологические особенности, необходимые для коррекции. Первая часть программы - диагностика с помощью ИНС, поиск курсантов, которые нуждаются в профилактике отчисления, а также поиск психологических качеств для коррекции (рис. 3). Блок 1 - ввод данных осуществляется испытуемыми при проведении психодиагности- ческого обследования, ответы заносятся в базу данных, например на платформе Excel. Блок 2 - на основе базы данных результатов обследований испытуемых создается ИНС. С Excel осуществляется перенос данных в программные комплексы IBM SPSS 22.0, STATISTICA 13.3 Automated Neural Networks, посредством которых формируется и обу- чается ИНС. Блок 3 - использование прогноза ИНС в работе - это результат работы ИНС. В про- гноз входит количественное представление соответствия с «внутренним представлени- ем» ИНС. Психолог получает конкретный список испытуемых, с которыми необходимо провести психологические мероприятия (консультация или коррекция). В прогноз также входит иерархия факторов, которые влияют на построения ИНС, они же психологические свойства, которые следует корректировать. После прогноза у психолога есть конкрет- ные курсанты и их психологические свойства и качества, что позволяет сосредоточить усилия именно там, где необходима психологическая помощь. Блок 4 - данные, получаемые при прогнозе, могут отличаться от реальной обстанов- ки в силу объективных причин. Стандартное эффективное использование ИНС строит- ся на уровне 80-90 % достоверности. Если учесть, что и окружающие обстоятельства испытуемых также могут меняться, то ИНС необходимо корректировать, внося новые данные, и переобучать. Этот процесс сделает систему динамичной и гибкой к измене- ниям окружающей действительности. Организация работы пенитенциарного психолога по указанной схеме позволит эф- фективно очерчивать круг курсантов, с которыми необходимо проводить работу по профилактике отчисления. Коррекция ИНС в зависимости от новых данных поможет не потерять актуальность. Вторая часть программы связана с развитием свойств, направленных на профилакти- ку отчисления. Нормализованная важность или сенсорная чувствительность программ, создающих ИНС, позволяют выдать те качества, умения, свойства психики, которые необходимо развивать. Эта информация была перенесена в план индивидуальных консультаций с курсантами, которых ИНС отметила как отчисленных. Консультативные сессии проводились еженедельно на протяжении 2 месяцев, каждый курсант в сред- нем посетил психолога 4 раза. При повторном тестировании группы отчисленных были получены следующие результаты (табл. 3). Таблица 3 Результаты по отдельным шкалам Группа Шкалы методик Социальная тревожность Самоуважение Самотранс- цендентность Ответственность Интеграль- ное чувство за или против Управление своими эмоциями В сырых средних баллах по выбранной группе До коррекции 5,90 12,09 61,86 43,13 20,05 8,68 Контрольная группа 7,45 11,4 61,94 41,04 20,79 6,86 После коррекции 6,68 11,13 61,22 41,86 20,54 6,45 Результаты повторного психодиагностического обследования загружались в ИНС для анализа. Целью служила оценка нейросетью проведенной работы и повторный прогноз по группе. Из 19 курсантов, отмеченных ранее как отчисленные, ИНС при повторном прогнозе оставила 7 курсантов. Выводы Использование ИНС как одного из методов data mining является эффективным. Применение в качестве материалов для обучения ИНС данных психологических об- следований отчисленных курсантов позволит объективизировать принятие решений в выборе объектов для усиленного психологического сопровождения. Обученная ИНС в состоянии эффективно справляться с задачами прогноза психологического сопровождения. Структурные составляющие ИНС позволяют очертить психологические качества, свойства в качестве объектов в контексте профилактики отчисления курсантов из Ака- демии ФСИН России. Данные ИНС позволяют создать эффективные планы консульта- ций с курсантами. В результате проведенного исследования стало возможным создать и полностью апробировать систему профилактики отчисления курсантов Академии ФСИН России. Эта система была внедрена в деятельность психологических служб Академии ФСИН России и Самарского юридического института ФСИН России.
1. Psihologicheskaya enciklopediya.URL : https://gufo.me/dict/psychology_encyclopedia.
2. Levkovich-Maslyuk L. I. Velikie raskopki i velikie vyzovy // Komp'yuterra. 2007. № 11. S. 48-51
3. Paklin N. B., Oreshkov V. I. Biznes-analitika: ot dannyh k znaniyam. M. : Piter, 2013. 701 s
4. Mosyagin A. B. Ispol'zovanie metodologii data mining pri reshenii zadach obrabotki social'nyh dannyh // Bol'shaya sociologiya: rasshirenie prostranstva dannyh : materialy V Mezhdunar. sociol. Grushinskoy konf. M., 2015. S. 143-145
5. Nestik T. A., Zhuravlev A. L. Analiz bol'shih dannyh v psihologii i sociogumanitarnyh naukah: perspektivnye napravleniya issledovaniy // Psihologicheskiy zhurnal. 2019. T. 40. № 6. C. 5-17
6. Kupriyanov R. B., Agranat D. L., Suleymanov R. S. Ispol'zovanie tehnologiy iskusstvennogo intellekta dlya vystraivaniya individual'nyh obrazovatel'nyh traektoriy obuchayuschihsya // Vestnik Rossiyskogo universiteta druzhby narodov. Ser. Informatizaciya obrazovaniya. 2021. T. 18, № 1. S. 27-35
7. Arzamascev A. A., Azarova P. A., Zenkova N. A. Model' professional'nyh i lichnostnyh kachestv studentov universiteta na osnove iskusstvennoy neyronnoy seti s adaptivnoy strukturoy // Vestnik tambovskogo universiteta. Ser. Estestvennye i tehnicheskie. 2007. № 5. S. 623-632
8. Slavutskaya E. V., Abrukov V. S., Slavutskiy L. A. Prostye neyrosetevye algoritmy dlya ocenki latentnyh svyazey psihologicheskih harakteristik mladshih podrostkov // Eksperimental'naya psihologiya. 2019. № 2. S. 131-144
9. Dorrer M. G. Psihologicheskaya intuiciya iskusstvennyh neyronnyh setey : dis. … kand. teh. nauk. Krasnoyarsk, 1998. 127 s
10. Dyuk V., Samoylenko A. Data mining : ucheb. kurs. SPb. : Piter, 2001. 368 s
11. Kirsanov M. N. Grafy v Maple. M. : Fizmatlit, 2007. 168 s
12. Neyronnaya set' // Bol'shaya rossiyskaya enciklopediya : v 35 t. / gl. red. Yu. S. Osipov. M. : Bol'shaya rossiyskaya enciklopediya, 2004-2017
13. Astaf'ev G. B. Kletochnye avtomaty : ucheb.-metod. posobie. Saratov, 2003. 24 s
14. Fogel, D. B. 2006, ‘Historic perspective - Nils Barricelli-artificial life, coevolution, self-adaptation’, IEEE Computational Intelligence Magazine, iss. 1, pp. 41-45
15. Kurdin D. A. Prognoz uspeshnosti obucheniya kursantov s pomosch'yu iskusstvennoy neyronnoy seti na osnove rezul'tatov issledovaniya dinamiki lichnostnogo rosta // Psihologiya XXI veka: vyzovy, poiski, vektory razvitiya : sb. materialov Vseros. simpoziuma psihologov s mezhdunarodnym uchastiem. Ryazan' : Akademiya FSIN Rossii, 2020. S. 799-805
