Введение
Сегодня учебно-исследовательская деятельность в 10-11 классах, согласно обновленным Федеральным государственным образовательным стандартам (ФГОС), играет ключевую роль в формировании интеллектуальных и личностных качеств учащихся. Эта деятельность способствует развитию умений самостоятельной поисковой работы, критического мышления и умения грамотно выражать свои мысли. Базовые исследовательские действия включены в метапредметные результаты освоения программы по каждому предмету, включая иностранный язык [7].
К сожалению, на сегодняшний день в современных УМК по английскому языку учебно-исследовательская деятельность представлена недостаточно обширно, что заставляет учителя самостоятельно отбирать содержание отбирать содержание и соответствующие способы и формы обучения учебному исследованию на иностранном языке для реализации требований Федеральной рабочей программы.
Одним из ключевых моментов при отборе содержания является отбор лексических единиц для освоения обучающимися в процессе иноязычной учебно-исследовательской деятельности, что требует значительных временных и интеллектуальных затрат со стороны учителя. В последние десятилетия искусственный интеллект и нейросети значительно изменили способы обучения и образования и стали полезным инструментом в деятельности учителя.
В данной статье рассматривается, как внедрение технологий искусственного интеллекта может помочь учителю отобрать лексические единицы для учебно-исследовательской деятельности на иностранном (английском) языке с использованием цифровых инструментов (иноязычную цифровую учебно-исследовательскую деятельность) в старших классах. Также, в данной статье проводится сравнение доступных нейросетей с целью выявления наиболее эффективной при отборе лексических единиц для иноязычной цифровой учебно-исследовательской деятельности в 10-11 классах.
Теоретическая база
Искусственный интеллект используется в лингвистике достаточно долгое время. Еще в середине XX в. ученые, занимающиеся лингвистикой и искусственным интеллектом, обратили свое внимание на математическую обработку естественного языка и способы его кодировки в компьютерной парадигме. Компьютерная лингвистика возникла на стыке лингвистики, математики, информатики и искусственного интеллекта. Ее истоки восходят к исследованиям Н. Хомского в области формализации структуры естественного языка. Языкознание изучает общие законы языка, его структуру и функционирование, включая фонологию, морфологию, синтаксис, семантику и прагматику, а также лексикографию [1].
Результаты Н. Хомского заложили основу для теории формальных языков и грамматик, применяемой для обработки не только естественных, но и искусственных языков, таких как языки программирования. К математической лингвистике относится квантитативная лингвистика, изучающая частотные характеристики языка с использованием математических методов статистики [1].
Компьютерная лингвистика тесно связана с искусственным интеллектом, в рамках которого разрабатываются компьютерные модели интеллектуальных функций. Одна из первых программ в этой области - программа Т. Винограда, понимающая приказы человека на ограниченном подмножестве естественного языка [6].
Задача компьютерной лингвистики - разработка компьютерных программ для автоматической обработки текстов на естественном языке. Сложность задач связана с многоуровневой системой знаков языка, его постоянным изменением и разнообразием естественных языков [8].
Искусственный интеллект (ИИ) определяется как система программных продуктов и алгоритмов, способных выполнять действия, которые ранее были специфической функцией человеческого интеллекта [1]. К ним относятся:
- Способность различать и идентифицировать визуально и акустически воспринимаемые образы предметов окружающего мира, включая поведение животных и человека, различать устную и письменную речь.
- Способность формулировать и решать задачи, встречающиеся в различных сегментах бытовой и профессиональной деятельности.
- Умение осуществлять поиск, классификацию и адекватное использование любых видов информации и знаний.
- Способность понимать смысл отдельных актов социокультурной человеческой деятельности и речи [6].
В рамках данного исследования особое внимание уделяется умению искусственного интеллекта обрабатывать и анализировать иноязычные тексты с целью выявления подходящих для иноязычной цифровой учебно-исследовательской деятельности лексических единиц с учетом особенностей изучения иностранного языка, в данном случае, английского, в 10-11 классах на базовом уровне.
Для школьного учителя самой доступной разновидностью искусственного интеллекта являются так называемые Chat GPT боты. Chat GPT - это крупная языковая модель от OpenAI, разработанная с использованием технологий глубокого обучения и трансформеров. Она предназначена для генерации текста и ответов на вопросы путем анализа значительных объемов текстовой информации и понимания связей между словами и предложениями. Главная задача Chat GPT - предоставление пользователям качественных и точных ответов на их запросы. Для этого используется обширный текстовый корпус, прошедший детальную предварительную обработку [2]. Это позволяет модели учитывать контекст и предоставлять максимально релевантные ответы.
К особенностям ChatGPT можно отнести следующее:
- Точность ответов. Благодаря глубокому обучению Chat GPT может давать ответы, которые соответствуют запросам.
- Быстрота и производительность. Модель способна оперативно обрабатывать большие объемы данных и предоставлять ответы в реальном времени.
- Автоматическое обучение. Chat GPT может самостоятельно совершенствоваться на основе новых данных, что помогает ей постоянно адаптироваться [9].
Исходя из данных особенностей Chat GPT, учитель английского языка может эффективно использовать его при отборе лексических единиц для иноязычной цифровой учебно-исследовательской деятельности.
В методике обучения иностранным языкам существуют определенные принципы отбора лексики. Данные принципы включают в себя статистические принципы (позволяют определить количественные характеристики лексики, выделить слова, чаще всего встречающиеся в конкретном языковом материале), лингвистические принципы (принцип сочетаемости, принцип стилистической неограниченности, принцип семантической ценности, принцип словообразовательной ценности, принцип многозначности слова, принцип строевой способности) и методические принципы (ориентируются на тип образовательного учреждения, цели обучения, а также на принадлежность и соответствие лексем и лексико-семантических групп к темам, которые предусмотрены образовательной программой) [4].
При анализе и отборе лексики в соответствии с данными принципами модель Chat GPT может работать следующим образом.
- Статистические принципы. ChatGPT может проанализировать текстовые корпуса и предоставить список наиболее часто встречающихся слов и фраз по заданной теме. Для этого учителю необходимо загрузить перечень текстов, связанных нужной тематикой.
- Лингвистические принципы:
- Принцип сочетаемости. Модель может предложить словосочетания и фразы, которые часто используются вместе, что поможет ученикам лучше понимать контекст и использование слов в речи.
- Принцип стилистической неограниченности. ChatGPT может предоставить примеры слов, которые могут использоваться в различных стилях (формальном, неформальном, научном и т.д.), что позволит учителю отобрать лексику в соответствии с нужным стилем речи
- Принцип семантической ценности. Модель может помочь выявить слова с высокой семантической нагрузкой, что важно для глубокого понимания темы.
- Принцип словообразовательной ценности. ChatGPT может предложить слова и их производные, что помогает учащимся осваивать различные формы слов.
- Принцип многозначности слов. Модель может предоставить примеры многозначных слов и их различных значений в контексте, что способствует более глубокому пониманию языка.
- Принцип строевой способности. ChatGPT может помочь в отборе слов, которые легко интегрируются в различные синтаксические конструкции, что важно для формирования грамотной речи.
- Методические принципы. ChatGPT может быть настроен на предоставление лексики, соответствующей конкретным образовательным темам или целям программы. Учитель может вводить запросы, связанные с конкретной учебной темой, и получать релевантные слова и выражения.
Таким образом, важной задачей учителя становится грамотный подбор текстов для анализа и отбора лексики для иноязычной цифровой учебно-исследовательской деятельности посредством модели ChatGPT. Кроме того, важно задать правильный запрос, включающий в себя все необходимые параметры, связанные как с самими лексическими единицами, так и с особенностями обучающихся и учебной программы, такими, как уровень владения иностранным языком, предметная область учебного исследования обучающегося; цифровые инструменты, которыми будет пользоваться обучающийся при работе над учебным исследованием.
Методология
При отборе текстов для анализа на предмет актуальных для иноязычной цифровой учебно-исследовательской деятельности учитывались следующие параметры.
- Уровень владения английским языком обучающимися 10-11 классов. В соответствии с Федеральной рабочей программой, у обучающихся 10-11 классов должен быть пороговый уровень владения английским языком, что соответствует уровню B1 по системе CEFR.
- Актуальная предметная область для учебного исследования. Зачастую обучающиеся выбирают тему учебного исследования в соответствии с выбранными предметами для сдачи ЕГЭ, а также, руководствуясь личными интересами. В данном случае учитывались данные Рособрнадзора о наиболее популярных предметах ЕГЭ, а также, данные с конкуров проектов и исследовательских работ «Высший пилотаж», международного конкурса «Research start» 24/25, всероссийского конкурса "ЛЕСТНИЦА НАУК" и тематических сайтов, на которых представлены школьные учебные исследования. На сегодняшний день большая доля школьников предпочитает выполнять учебные исследования в области информационно-коммуникационных технологий, в частности, сети Интернет, создания различных медиа, социальных сетей. Для проведения данного исследования была выбрана тема «Современные средства связи (мобильные телефоны, смартфоны, планшеты, компьютеры)».
- В качестве цифрового инструмента, который обучающиеся могут использовать при создании графики, диаграмм, презентаций и другого медиаконтента для своего учебного исследования была выбрана англоязычная онлайн-платформа Genially.
При отборе текстов для анализа были отобраны УМК по английскому языку для обучающихся 10-11 классов из Федерального перечня учебников, а также, УМК Solutions Intermediate, Headway Intermediate, English File Intermediate, Empower B1, Outcomes Intermediate, Gold Experience 2nd edition B1, Speakout 3rd edition B1, Get Involved! B1, Gateway to the World B1.
Отбор лексических единиц на основе текстов из УМК проводился посредством доступных GPT Chat ботов, таких, как YandexGPT 3, GPT-CHATBOT, ChatINFO с целью определения бота, наиболее точно отвечающего на запрос пользователя.
Для выделения лексических единиц заданной тематики был разработан алгоритм эффективного запроса.
Первым шагом является определение цели запроса. Необходимо четко сформулировать, что именно нужно получить от чат-бота. Например, выделить и классифицировать слова или фразы, связанные с определенными средствами связи. Например:
"Пожалуйста, выдели из текста все англоязычные лексические единицы, связанные с современными средствами связи, такими как мобильные телефоны, смартфоны, планшеты и компьютеры. Организуй их по категориям, если это возможно."
Вторым шагом необходимо продумать ключевые слова и фразы, чтобы помочь модели понять, какого плана лексические единицы ей необходимо вычленить из текста. Например, такие как "smartphone", "tablet", "laptop", "mobile phone", и так далее.
Третьим шагом необходимо уточнить формат вывода. Нужно определить в каком виде ChatBot должен предоставить результаты. Например, в виде списка или таблицы.
При необходимости можно добавить примеры. Пример расширенного запроса:
"Проанализируй следующий текст и выдели англоязычные лексические единицы, связанные с современными средствами связи. Интересуют такие устройства, как смартфоны, планшеты, мобильные телефоны и компьютеры. Пожалуйста, представь список слов и классифицируй их по типу устройства, например:
Smartphones: iPhone, Android
Tablets: iPad, Galaxy Tab
Computers: laptop, desktop"
В качестве материала для анализа были использованы тексты из Unit 5. Technology учебника Solutions Intremediate, конвертированные в текстовый формат для удобства запроса.
В тестируемые чат-боты был отправлен запрос «Проанализируй следующий текст и выдели англоязычные лексические единицы (существительные, прилагательные, глаголы, включая фразовые), связанные с темой «Современные средства связи (mobile phones, smartphones, tablets, computers.)». Представь список слов с дефинициями на английском языке. Приведи примеры предложений с этими словами».
Чат-бот «АлисаПро» (Yandex GPT 3) в ответ на запрос выдал следующую информацию.
Существительные:
Gadgets - Small electronic devices that perform specific functions.
Sensors - Devices that collect data about a person's activities.
Heart rate monitor - Device that measures a person's heart rate.
Smartwatch - A wearable device that tracks activity and provides notifications.
Computer - A machine that processes data and performs calculations.
Email - Electronic message sent through the internet.
Malware - Malicious software that infects a computer.
Chatbot - A computer program designed to have conversations with humans.
Прилагательные:
Connected - Being able to transmit data or information.
Wearable - Able to be worn on the body.
Artificial - Man-made, not natural.
Intelligent - Having the ability to think and reason.
Глаголы и фразовые глаголы:
To collect - Gather information or data.
To monitor - Keep track of something over time.
To analyze - Examine data to find patterns or trends.
To send - Transmit data or information.
To click - Press a button on a computer mouse.
To chat - Have a conversation online.
To break - In this context, to solve a code.
Как видно из ответа, чат-бот не предоставил примеры использования данных лексических единиц и не привел примеры фразовых глаголов, однако, в целом отобранные лексические единицы соответствуют сути запроса.
На подобный запрос чат-бот ChatINFO выдал следующий ответ.
Nouns
- Technology Definition: The application of scientific knowledge for practical purposes, especially in industry. Example Sentence: Chris Dancy loves technology.
- Gadget Definition: A small mechanical or electronic device or tool. Example Sentence: He bought some gadgets that could collect information.
- Sensor Definition: A device that detects or measures a physical property and records, indicates, or otherwise responds to it. Example Sentence: He is connected to 700 sensors that record every detail of his life.
- Smartwatch Definition: A wearable computing device that closely resembles a wristwatch or other time-keeping device. Example Sentence: He has a smartwatch too, which he can wear on either wrist.
- Email Definition: A system for sending messages from one computer to another computer. Example Sentence: I didn't understand that email you sent me yesterday.
- Malware Definition: Software that is specifically designed to disrupt, damage, or gain unauthorized access to a computer system. Example Sentence: You've possibly downloaded some malware onto your phone.
- Chatbot Definition: A computer program designed to simulate conversation with human users, especially over the Internet. Example Sentence: Programs like Mitsuku are called 'chatbots'.
- Program Definition: A set of instructions that a computer follows to perform a particular task. Example Sentence: The test, designed to measure artificial intelligence, was invented by British mathematician Alan Turing.
- Screen Definition: The flat front surface of a computer monitor or television, on which pictures and words are shown. Example Sentence: Judges sit at a screen and have a chatroom conversation with the chatbot program.
- Website Definition: A set of related web pages located under a single domain name, typically produced by a single person or organization. Example Sentence: You probably aren't the first to hear about new gadgets, apps, and websites.
- App Definition: A self-contained program or piece of software designed to fulfill a particular purpose; an application. Example Sentence: You probably aren't the first to hear about new gadgets, apps, and websites.
- E-reader Definition: A device or application used for reading electronic books.Example Sentence: You'd probably rather make a phone call than send a text, meet face-to-face than chat online, and read a paper book than use an E-reader.
- Software Definition: The programs and other operating information used by a computer. Example Sentence: You can handle any gadget or software.
Verbs/Phrasal Verbs
- Monitor Definition: To observe and check the progress or quality of something over a period of time; to keep under systematic review. Example Sentence: He monitors what he eats and drinks.
- Collect Definition: To gather data or information for further use. Example Sentence: Few, if any, people collect as much data about themselves as Chris.
- Track Definition: To follow the course or trail of someone or something, typically in order to find them or note their progress. Example Sentence: He has so many systems that automatically track his activity.
- Send Definition: To cause something to go or be taken to a particular destination. Example Sentence: Every one of them sends data to his computer.
- Connect Definition: To join or link together something in order to allow communication. Example Sentence: Now he is connected to 700 sensors.
- Download Definition: To transfer (data or a program) from a central computer or website to a peripheral device. Example Sentence: You've possibly downloaded some malware.
Adjectives
- Tech-savvy Definition: Having knowledge and understanding of modern technology, especially computers. Example Sentence: You are not at all tech-savvy.
- Automatic Definition: Operating by itself with little or no direct human control. Example Sentence: He has so many systems that automatically track his activity.
- Online Definition: Controlled by or connected to a computer or to the Internet. Example Sentence: You'd probably rather make a phone call than send a text, meet face-to-face than chat online.
Из данного ответа заметно, что данный чат-бот выделяет больше лексических единиц и приводит примеры их использования из проанализированных текстов, однако, как и в предыдущем случае, не приводит примеры фразовых глаголов.
Наконец, третий тестируемый чат-бот GPT-CHATBOT в ответ на запрос вывел следующий список слов.
Nouns
- Technology Definition: The application of scientific knowledge for practical purposes, especially in industry. Example: "Advancements in technology have transformed communication."
- Gadget Definition: A small mechanical or electronic device or tool, especially an innovative or novel one. Example: "I love trying out new gadgets for my work in the Internet."
- Smartwatch Definition: A wearable device that combines features of a watch with those of a smartphone. Example: "My smartwatch can track my fitness activities throughout the day."
- Camera Definition: A device for recording visual images in the form of photographs or video. Example: "She bought a new camera to capture her travels."
- Email Definition: A system for sending messages electronically from one user to another. Example: "I received an important email regarding the project deadlines."
- Link Definition: A reference or navigation element in a document that directs users to another section or document. Example: "Make sure to follow the link for more information."
- Malware Definition: Software specifically designed to disrupt, damage, or gain unauthorized access to computer systems. Example: "The antivirus software detected malware on my computer."
- Chatbot Definition: A computer program designed to simulate conversation with human users, especially over the Internet. Example: "Many companies use chatbots to handle customer inquiries."
- Account Definition: A record of a user's information on a digital platform, allowing access to services. Example: "You need to create an account to access the online course."
- E-reader Definition: A portable electronic device designed primarily for reading digital e-books and periodicals. Example Sentence: "I love using my e-reader because I can carry an entire library with me wherever I go."
Adjectives
- Tech-savvy Definition: Having a good understanding of technology and its applications. Example: "Being tech-savvy is essential in today's job market."
- Artificial Definition: Made or produced by human beings rather than occurring naturally, especially in relation to intelligence. Example: "Artificial intelligence is rapidly evolving and changing industries."
Verbs
- Monitor Definition: To observe and check the progress or quality of something over a period of time. Example: "The system monitors user activity to improve security."
- Collect Definition: The process of gathering data or information from various sources, such as sensors, applications, or user inputs, for storage, analysis, or processing. Example: "The app collects data about your daily habits."
- Analyze Definition: The process of examining data or information in detail to understand patterns, draw conclusions, or make informed decisions. This often involves using software tools to process large datasets and extract meaningful insights. Example: " The software can analyze network traffic to identify potential security threats."
- Download Definition: To transfer data from one computer system to another. Example: "You can download the latest version of the software from the website."
- Send Definition: To cause to go or be taken to a particular destination; to dispatch. Example: "Please send me the document via email."
- Click Definition: To press a button on a mouse or other device to select or open something on a computer. Example: "Click on the icon to start the application."
Phrasal Verbs
- Plug in Definition: To connect a device to a power source or another device. Example: "Don't forget to plug in your laptop before the meeting."
- Log in Definition: To enter a computer system or application by providing credentials. Example: "You need to log in to your account to access the features."
- Turn on Definition: To activate a device or system. Example: "Please turn on your phone before the presentation begins."
Из ответа чат-бота можно увидеть, что модель придумала свои примеры использования отобранных лексических единиц. Также, модель отобрала примеры фразовых глаголов, связанных с заданной темой.
Анализ результатов исследования
Результаты сравнения представлены в Таблице 1.
Таблица 1. Сравнение точности выполнения запроса чат-ботами
Параметры запроса |
YandexGPT 3 (АлисаПРО) |
ChatINFO |
GPT-CHATBOT |
Анализ предложенных текстов |
+ |
+ |
+ |
Количество отобранных лексических единиц |
19 |
22 |
20 |
Соответствие лексических единиц заданной теме |
+ |
+ |
+ |
Классификация лексических единиц по частям речи, отдельная группа с фразовыми глаголами |
+/-
|
+/-
|
+ |
Наличие дефиниций |
+ |
+ |
+ |
Наличие примеров использования лексических единиц |
- |
+ |
+ |
Исходя из полученных данных, можно сделать вывод о том, что в целом каждый из тестируемых GPT чат-ботов справляется с задачей отбора англоязычной лексики по заданной теме на основании анализа текста.
Количество лексических единиц, отобранных чат-ботами примерно одинаков, однако, ChatINFO отобрал несколько больше единиц, чем другие чат-боты. Стоит отметить, что некоторые лексические единицы, отобранные одним чат-ботом, не включены в списки других чат-ботов. Данный факт свидетельствует о том, что для наиболее эффективного отбора лексики предпочтительно использование разных чат-ботов.
Все чат-боты отобрали лексические единицы, соответствующие теме «Современные средства связи (мобильные телефоны, смартфоны, планшеты, компьютеры)». Однако лишь GPT-CHATBOT классифицировал лексику в соответствии с запросом.
Все чат-боты составили дефиниции к отобранной лексике, АлисаПро не привел ни примеров из текста, ни своих примеров.
Выводы
В результате проведенного анализа можно сделать несколько ключевых выводов о процессе отбора лексических единиц с использованием различных чат-ботов, основанных на модели GPT, для иноязычной цифровой учебно-исследовательской деятельности.
- Эффективность разных чат-ботов. Все протестированные чат-боты в целом справились с задачей выделения англоязычной лексики по заданной теме «Современные средства связи». Однако, ChatINFO продемонстрировал наилучшие результаты, отобрав большее количество лексических единиц по сравнению с другими ботами. Это подчеркивает важность использования различных инструментов для достижения более полного и разнообразного результата.
- Разнообразие лексических единиц. Наличие лексических единиц, отобранных одним чат-ботом, которые отсутствуют в списках других, свидетельствует о том, что каждый бот может иметь свои уникальные алгоритмы обработки и интерпретации текста. Это указывает на необходимость комбинирования результатов от нескольких чат-ботов для более комплексного анализа.
- Классификация лексики. Только GPT-CHATBOT смог классифицировать выделенные лексические единицы в соответствии с заданным запросом. Это подчеркивает важность четкой структуры запроса и возможности чат-ботов обрабатывать информацию с учетом заданных категорий.
- Качество дефиниций и примеров. Все чат-боты предоставили дефиниции к отобранной лексике, что является положительным аспектом их работы. Однако, отсутствие примеров у АлисаПро указывает на недостатки в его функциональности по сравнению с другими ботами, что может ограничивать его полезность в образовательных целях.
- Методология запроса. Разработанный алгоритм эффективного запроса, включающий четкое формулирование цели, подбор ключевых слов и уточнение формата вывода, оказался полезным для получения более точных и релевантных результатов. Это подчеркивает важность грамотного подхода к формулированию запросов при работе с чат-ботами.
В заключение, использование различных чат-ботов для отбора лексики в рамках иноязычной учебно-исследовательской деятельности может значительно повысить качество и разнообразие получаемых данных. Разработка четких и структурированных запросов является ключом к эффективному взаимодействию с этими инструментами.
Список использованных источников
- Автоматическая обработка текстов на естественном языке и компьютерная лингвистика: учеб. пособие / Большакова Е.И., Клышинский Э.С., Ландэ Д.В., Носков А.А., Пескова О.В., Ягунова Е.В. - М.: МИЭМ, 2011. - 272 с.
- Аймалетдинов, Р.Т. Потенциал использования чат-бота в изучении иноязычной лексики (английский язык, словообразование) / Р.Т.Аймалетдинов // Наука в мегаполисе Science in a Megapolis. - 2020. - № 3(19). - С. 19. - EDN ILWWRC.
- Будникова А.С., Бабенкова О.С. ИСПОЛЬЗОВАНИЕ ЧАТ-БОТОВ ПРИ ИЗУЧЕНИИ ИНОСТРАННОГО ЯЗЫКА // Ученые записки. Электронный научный журнал Курского государственного университета. 2020. №3 (55). URL: https://cyberleninka.ru/article/n/ispolzovanie-chat-botov-pri-izuchenii-inostrannogo-yazyka (дата обращения: 13.11.2024).
- Гальскова, Наталья Дмитриевна. Основы методики обучения иностранным языкам: учебное пособие / Н.Д.Гальскова, А.П.Василевич, Н.Ф.Коряковцева, Н.В.Акимова. - Москва : КНОРУС, 2017. - 390 с
- Евдокимова Мэри Георгиевна, Агамалиев Рустам Тельманович Лингводидактический потенциал систем искусственного интеллекта // ЭСГИ. 2023. №2 (38). URL: https://cyberleninka.ru/article/n/lingvodidakticheskiy-potentsial-sistem-iskusstvennogo-intellekta (дата обращения: 13.11.2024).
- Утробина А. А. КОМПЬЮТЕРНАЯ ЛИНГВИСТИКА И МАШИННЫЙ ПЕРЕВОД: ОБ ИСТОРИИ СТАНОВЛЕНИЯ // Вестник Башкирск. ун-та. 2022. №2. URL: https://cyberleninka.ru/article/n/kompyuternaya-lingvistika-i-mashinnyy-perevod-ob-istorii-stanovleniya (дата обращения: 13.11.2024).
- Федеральная рабочая программа. Иностранный (английский) язык. 10-11 классы (базовый уровень) // Единое содержание общего образования URL: https://edsoo.ru/wp-content/uploads/2023/08/4_frp-angl-yaz_10-11-klassy_baza.pdf
- Шаврина Т. О. О методах компьютерной лингвистики в оценке систем искусственного интеллекта. Вопросы языкознания, 2021, 6: 117-138.
- Шилова Нина Владимировна ИСПОЛЬЗОВАНИЕ ЧАТ-БОТОВ ПРИ ИЗУЧЕНИИ ИНОСТРАННЫХ ЯЗЫКОВ // Проблемы современного педагогического образования. 2023. №79-1. URL: https://cyberleninka.ru/article/n/ispolzovanie-chat-botov-pri-izuchenii-inostrannyh-yazykov (дата обращения: 13.11.2024).