ChatGPT在课程“教”与“学”中的应用场景、潜在风险及防范策略

摘    要：生成式人工智能是一种强大的自然语言处理技术，ChatGPT（Chat Generative Pre-trained Transformer，聊天生成型预训练变换模型）是其中的代表之一。近年来，随着生成式人工智能技术的快速发展，ChatGPT在教育领域的应用日益受到关注。ChatGPT带来了辅助学习、个性化学习、互动体验和课程创新等方面的变革，展现了其在教育领域中的潜在价值。同时，ChatGPT是一把“双刃剑”，其在内容质量控制、伦理道德等方面存在潜在风险。因此，多元防范主体必须协同发挥作用，通过不断加强技术升级与审查、开展理性引导与文化教育等手段，有效防范和化解ChatGPT在“教”与“学”双边活动中存在的潜在风险，确保其在教育领域中的安全和可持续发展。

关键词：ChatGPT；人工智能；应用场景；风险；防范策略

中图分类号：G641.3      文献标识码：Ａ      文章编号：1002-4107（2024）05-0036-04

一、引言

ChatGPT是由美国人工智能公司OpenAI开发的一个基于GPT-3.5架构的大型语言模型，自2022年11月推出以来，便引发了全球范围的热议与讨论。ChatGPT体现出的用户交互功能，为人类解决自然语言处理问题提供了可行性路径，因此，ChatGPT受到全球各国政府、学术界乃至普通用户的青睐，被广泛用于文字撰写、在线客服、编程辅助、内容创作等场景，其给教育界带来的影响亦不容小觑。ChatGPT作为一种新兴的革新性力量介入课程“教”与“学”的双边活动，势必会给课程建设理念与实践带来重大变革。文章旨在探讨ChatGPT在课程“教”与“学”中的应用，揭示其在教育领域中的潜在价值；同时，系统探讨ChatGPT可能带来的潜在风险，并提出相应的风险防范策略，以确保ChatGPT生成式人工智能技术在课程建设领域的安全和可持续发展。

二、ChatGPT在课程“教”与“学”双边活动中的应用

教育领域从不缺乏科学技术的创新应用。ChatGPT生成式人工智能基于其对用户意图的准确理解和定位，能够初步“学习”人类经验[1]，实现人机的双向沟通，并对问题的回答显示出极强的逻辑性和专业性，受到全球范围内广大用户的青睐。ChatGPT在教育领域中的应用价值也在不断提升，不仅给学生带来了新的学习和课程体验，也为教育领域提供了未来发展方向。ChatGPT在课程教学活动中的应用主要表现为其带来了辅助学习、个性化学习、互动体验和课程创新等方面的变革。

（一）ChatGPT在学生辅助学习场景中的应用

ChatGPT在学生辅助学习场景中的应用主要是通过其生成式文本生成能力和自然语言处理技术给学生提供帮助和支持。第一，ChatGPT可以作为一个虚拟助手，回答学生在课程学习过程中遇到的问题。在学生向ChatGPT进行发问后，ChatGPT会对输入的问题进行处理，并将答案直接展示给学生，使学生快速获取信息。同时，ChatGPT可以根据学生的学习进度和表现，提供个性化的辅导和反馈。ChatGPT可以分析学生的答案或学习情况，识别错误和薄弱点，并给出相应的指导和建议，帮助学生改进学习。第二，ChatGPT可以为学生提供丰富的学习资源，包括课程资料、辅导材料、模拟题等。学生可以通过与ChatGPT的对话，获取适合自己学习阶段和需求的课程资源，促使自己更加沉浸地学习，深入探索知识。第三，ChatGPT可以扮演一个与学生进行互动的虚拟角色，通过“接受输

入—语境理解—意图处理—生成并输出回复—反馈”的循环流程，模拟真实对话场景，鼓励学生主动提问和思考，与学生进行情感上的交流，激发学生的学习热情，提高学习兴趣和参与度。

（二）ChatGPT在学生个性化学习场景中的应用

ChatGPT在学生个性化学习场景中的应用主要是根据学生的个体差异和不同的学习需求，为每个学生制定学习内容和学习体验。第一，通过与学生进行交互，ChatGPT可以了解学生的学习需求，根据学生的学习风格、兴趣爱好和知识水平等，为学生制定课程内容体系，并生成适合学生个性化特点的学习材料。第二，ChatGPT可以根据学生的学习效果和学习进度，智能地安排学习计划和时间表，给出相应的学习改进建议和调整方案，并提供指导和反馈，为学生迅速调整改进课程学习的方式方法，促使学生更加高效地学习。第三，ChatGPT可以根据学生的学科偏好、学习目标和学习历史，智能地推荐适合学生个性化需求的学习资源。学生可以更加自主地选择学习内容和学习方向，进行自主学习和自主探索。第四，ChatGPT可以在教育心理辅导方面发挥作用，其通过与学生的交流对话，为学生提供心理支持，便于学生更好地进行情绪管理，应对学习压力。

（三）ChatGPT在学生互动体验场景中的应用

ChatGPT在学生互动体验场景中的应用是通过与学生进行自然语言交互，创造一种沉浸式的、有趣的互动体验。第一，ChatGPT可以成为单纯有趣的聊天伙伴。ChatGPT可以被设计成一个具有个性化特点的虚拟角色，赋予特定的个性、口吻和语气，使其更像一个真实的人物，与学生进行情感上的交流和互动，分享有趣的故事和笑话。第二，通过与ChatGPT的对话，学生可以参与到沉浸式的故事或场景中，进行角色扮演。ChatGPT可以根据学生的问题输入，生成连贯的故事情节和场景描述，让学生身临其境地体验其中的情节和事件。第三，ChatGPT可以被应用于智能游戏和解谜类应用中。ChatGPT可以根据学生的需求，提供相应的游戏情节和谜题；学生通过与ChatGPT的对话解决谜题，增加游戏探索性，获得挑战乐趣，獲取艺术灵感和指导。ChatGPT还可以与学生一起进行艺术创作，如共同创作诗歌、绘画等，为学生提供与AI（Artificia Intelligence，人工智能）合作的独特体验。第四，ChatGPT可以成为学生的语言学习伙伴。学生可以与ChatGPT进行语言对话，练习口语表达和发音；可以通过向ChatGPT询问语法和语言使用规则，理解语言结构；可以通过ChatGPT修正自己的语言文字作品，从而改进写作技巧。

（四）ChatGPT在教师课程创新场景中的應用

ChatGPT依靠其可提供的多样化、交互性强的功能特性，给课程改革创新带来契机。第一，ChatGPT可以作为教师的智能助手，帮助教师优化课程设计，提供备课支持。教师可以与ChatGPT进行交互，指定教学目标、教学重难点，ChatGPT则根据教师的输入生成相应的教学材料和练习题，帮助教师获取课程相关资料、教学案例和教学活动的创意，更高效地进行课程设计。第二，ChatGPT可以应用于开放教育资源（Open Educational Resources， OER）的创作中，为教育社区提供丰富的免费学习资料。ChatGPT可以根据不同学科领域的需求，生成开放式教育资源，包括课程讲义、教学音视频、练习题等，促进教育资源的共享和传播。第三，ChatGPT可以整合不同学科领域的知识，应用于“线上＋线下”混合式学习模式中。学生可以在课堂上通过与ChatGPT互动，获取跨学科的课程资料和知识要点，并进行答疑互动，将线下课堂学习与线上互动交流相结合。线下学习的稳定性和在线学习的灵活性，可共同为学生学习提供更多的时间和空间。

三、ChatGPT在课程“教”与“学”双边活动中存在的潜在风险

生成式人工智能技术的迅速发展为课程教学带来了新的机遇，然而，随着其逐渐被广泛应用，也将带来一系列潜在的风险和挑战。ChatGPT是一个生成式的人工智能模型，其生成的内容是基于在大规模数据集上学到的语言模式和知识，这种生成式的特性给学生的学习内容、学习心理等方面带来了挑战，具体表现为，ChatGPT可能在内容质量控制、伦理道德等方面存在潜在风险。

（一）ChatGPT可能带来内容质量控制的风险

ChatGPT是根据预训练数据集中学到的语言模式和知识生成的一种生成式模型。这种生成式模型的特性使其在内容质量控制方面可能存在一些风险。第一，生成式内容的可信度和准确性方面。ChatGPT生成的内容可能受到预训练数据集中信息的影响，导致输出内容存在不准确或不可信的情况，尤其在面对复杂或专业性较强的问题时，ChatGPT可能无法提供高质量的答案，甚至给出错误的信息。第二，生成式内容的模糊性和错误性方面。

ChatGPT的生成式特性决定了其回答是基于概率分布，因此，在某些情况下，其可能给出多种可能的回答，输出含糊或模棱两可的学习内容，这样的输出可能会给学生带来困惑。第三，基于少样本学习的内容生成不足方面。尽管ChatGPT在大规模数据集上进行了预训练，但在面对某些特定学科领域或复杂问题时，由于数据量不足，其可能无法生成高质量的内容。例如，在医学诊断、法律咨询、量子计算、高能物理、绘画等领域，ChatGPT的应用效果非常有限，必须寻求相关领域的专业人士解决该类复杂问题。第四，生成式内容的主观性和偏见方面。ChatGPT在互动中可能输出一些不适当或有害的内容，尤其是当学生输入不当的问题或信息时，其输出内容可能导致学生受到偏颇观点的影响，从而影响学习体验和学习结果。

（二）ChatGPT可能带来伦理道德问题的困境

ChatGPT通过大规模预训练模型，并基于庞大的文本数据集，学习语言模式和知识。这些数据集可能包含了现实世界中存在的偏见，而这些偏见会在ChatGPT的生成内容中体现出来。第一，可能带来性别和种族偏见。

ChatGPT可能在生成内容时出现性别或种族上的倾向性。例如，在描述某些职业或特定人群时，可能会出现性别刻板印象或种族歧视，可能更倾向于使用与某些性别或种族相关的词语，或者在描述特定事件或情况时表现出偏见。第二，可能带来文化和社会偏见。ChatGPT学习到的数据可能反映特定文化或社会观点，导致输出内容在跨文化和跨社会背景下产生不适应或误导性。第三，可能带来知识偏见。ChatGPT学习的数据集可能来源于特定领域或网站，因此，可能因缺乏某些领域的全面知识，导致在一些学科领域中出现生成内容的不足或错误。第四，可能带来算法偏向。ChatGPT的生成内容可能受到预训练算法的影响，导致特定类型的问题或主题受到更多关注，而忽略其他方面的信息。ChatGPT数据本身反映了社会和文化的多样性，偏见的根源可能是深层次的社会问题，完全消除所有偏见必将是一个复杂的挑战。

ChatGPT是一个基于大规模数据集预训练的生成式模型，本身并不具备伦理判断能力和良心意识，可能无法提供针对伦理问题的恰当回应和指导，因此，可能引发伦理风险。一方面，可能带来伦理准则与生成内容相冲突的情况。由于大规模数据集内容的不确定性，ChatGPT可能输出暴力、歧视、冒犯或敏感等不正确的观点或有害的内容，对学生产生负面影响。同时，预训练数据集中可能包含了现实世界中存在的偏见和歧视性观点，导致ChatGPT在生成内容时可能表现出性别、种族、地域或其他方面的偏见，与现实社会的伦理准则相冲突。另一方面，ChatGPT作为一种高度智能的聊天机器人，其在提供个性化学习支持和作业辅导等时，需要获取大量包括学生基本信息、学习情况、行为和互动记录等在内的详细数据，这些隐私数据可能会被 ChatGPT 模型抓取，在其生成教学资源输出时，会对学生的个人信息和隐私数据进行深度处理，可能向其他用户或组织泄露，进而产生严重的隐私安全隐患。

ChatGPT的科技属性天然影响着意识形态。“技术利维坦”、智能算法“把关人”、资本技术操控的共同作用，极易诱发多重意识形态风险[2]。作为一个生成式的人工智能模型，ChatGPT可能会改变人们的生活方式和价值观念，也可能威胁主流意识形态的话语权威。例如，以西方国家为代表的开发者极易利用ChatGPT的输出内容和个性特征，以宣传和操纵为目的，通过生成内容来传播特定的意识形态或观点，输出一些带有西方意识形态色彩和价值观的错误内容，并且通过反复、连续输出不断强化错误内容，对其他国家用户进行隐性的意识形态攻击和渗透，而这极易导致学生用户陷入西方错误思想传播的思维陷阱，失去政治判断能力，引发学生对社会主义核心价值观的理论和情感认同危机，进而削弱马克思主义主流意识形态认同，压缩主流意识形态生存空间，影响社会和谐安定。

四、ChatGPT诱发课程“教”与“学”风险的防范策略

ChatGPT生成式人工智能技术给自主学习带来了新的风险与挑战，其中，内容质量控制、伦理道德等问题是需要重视的关键领域。对此，多元防范主体必须协同发挥作用，通过不断加强技术升级与审查、开展理性引导与文化教育等手段，有效防范和化解ChatGPT在“教”与“学”双边活动中存在的潜在风险，确保其在教育领域中的安全和可持续发展。

（一）加强技术升级与审查以防范内容质量控制风险

加强ChatGPT技术的升级与审查是防范内容质量控制风险的关键步骤，可从以下2方面进行。一方面，优化ChatGPT的模型和算法，提高其在内容质量控制方面的性能及稳定性。深入分析ChatGPT与学生学习目的、课程目标之间的关系，并基于该关系对ChatGPT进行技术升级。通过优化Transformer模型的结构，如增加层数、调整注意力机制等，提高ChatGPT课程生成内容的连贯性和准确性，减少不准确内容输出的风险。另一方面，引入审查和监督机制，确保ChatGPT生成内容的准确性和可靠性。审查和监督是传统教育领域中常用的教学管理手段，已在日常的教学管理、教材审查、作业批改等方面取得了确实成效，将其引入ChatGPT内容质量控制是一种创新尝试。一是建立对ChatGPT生成内容的审查机制。研发人员和开发者、专业教育者或管理员通过对内容进行审核，判定内容的准确性和合适性。同时，让有经验的教师或教育专家参与课程学习过程，监督并修正ChatGPT生成内容的质量和准确性。二是构建内容质量控制监督系统。对ChatGPT输出内容进行实时监测，定期检查生成的内容。当检测到不当或有害内容时，及时进行干预和调整。对于某些敏感或专业性较强的话题，可以限制ChatGPT的使用场景，避免输出不适宜的内容。

（二）开展理性引导与文化教育以解决伦理道德危机

解决ChatGPT数据偏见问题对于维护人工智能技术的道德和社会责任至关重要，有助于确保技术的公正、可靠和可持续发展。首先，引导学生树立批判性思维，在使用ChatGPT生成的内容时保持冷静谨慎。教师应向学生解释ChatGPT是一个生成式模型，强调数据偏见是由数据集中存在的社会、文化或个人等偏见导致的，其输出内容是基于大规模数据生成而来的，并不等同于真实世界的知识。同时，鼓励学生不要过度依赖ChatGPT，可参考其他可靠的信息来源，如教科书、学术论文和权威网站等。其次，合理规划课堂活动。教师应主动引入课堂互动活动，通过实际案例演示，让学生亲身体验ChatGPT的使用，使学生认识到数据偏见可能对知识和决策产生负面影响。同时，与学生一起讨论ChatGPT使用中可能出现的问题，引导学生思考并提出解决方案。最后，对学生提供及时反馈和指导。在学生使用ChatGPT进行写作和研究时，教师应鼓励学生收集、分析和验证数据，并向学生指出其中可能存在的问题和改进之处，引导学生在使用数据时要注意数据的来源和质量。同时，鼓励学生选择多样化、全面性的数据集，避免过度依赖和使用单一来源数据。

减轻ChatGPT伦理风险是保障人工智能技术安全、可靠和社会受益的重要一环，需要技术开发者、研究者、决策者和社会各界的合作与共同努力。首先，制定相应的伦理准则，建立伦理审查机制。基于国际公认的伦理标准和法律法规，制定明确的伦理准则和指导方针，包括内容质量控制、数据隐私、偏见规避等。同时，建立伦理审查机制，对ChatGPT的应用场景和目的进行评估，在模型输出内容时，可以引入伦理“过滤器”，检测和阻止有害内容，确保其符合伦理准则和社会价值。其次，实施隐私保护措施，确保用户信息安全。对于用户提供的个人数据，应采取隐私保护措施，避免泄露危害个人安全的信息。在使用用户数据进行训练时，可以进行数据脱敏处理，或在用户数据与模型的链接中使用匿名ID代替真实用户ID。另外，对ChatGPT系统的访问进行严格控制，只允许授权人员访问和操作模型，限制非授权人员的访问。最后，加强多方合作与监管。建立一个由多方参与的审查委员会或专家团队，包括人工智能研究者、教育专家、伦理学专家、法律专家等，确保审查机制的全面性和多角度的评估，以加强各行业各领域之间的合作与监管，共同应对可能的伦理风险。

通过建立文化指导准则，将人工智能的发展和应用纳入社会和文化的框架中，确保模型的开发和应用符合不同文化背景，可以更好地化解ChatGPT带来的各种风险。第一，建立跨文化审查机制，确保模型的输出内容符合各种文化背景的政治道德标准。针对输出内容中涉及的敏感领域，如宗教、政治等，设置审查机制，避免输出涉及文化潜在冲突的内容。第二，增加模型的透明度和解释性，让学生了解模型的生成规则和运行逻辑。教师应讲解ChatGPT是如何做出决策、生成内容的，解释模型可能受到文化因素的影响，使学生能够理解模型的运行。第三，融合红色文化与人工智能领域研究的关涉点，提升红色文化育人资源的供给能力[3]，打造红色资源数据库、3D影像技术、VR网络虚拟现实技术等，开展以“人”“物”“事”“魂”等为主线的红色文化深度体验，通过红色文化传播，强化主流意识形态话语认同。第四，鼓励国内自主研发具有本国文化特色的生成式人工智能模型，以化解意识形态风险。通过自主研发，积极推动人工智能技术文化产品的数字化、网络化，加强正能量、高质量AI技术资源的传播。2023年，国内企业相继推出了诸如HuggingGPT等本土化的人工智能产品。HuggingGPT是一个基于PyTorch框架的自然语言处理协作系统，专注于文本生成、对话系统等，其在整个科技圈爆火，说明了我国具备了自主研发类似的自然语言处理技术的可行性。

五、结束语

ChatGPT（或类似的自然语言处理技术）在教育领域中具有广阔的应用前景。ChatGPT作为一个强大的语言模型，可以广泛用于与学生、教师和其他教育参与者的交互，提供个性化的学习体验和教育支持。然而，在使用

ChatGPT时，也要注意一些潜在的挑战和问题，如模型的误导性回答、对隐私的关注等。因此，将ChatGPT应用于自主学习中需要采取谨慎的态度和负责任的方法，辩证审视其可能诱发的风险，确保其真正成为学习和教学的有益工具，推进ChatGPT等人工智能技术在教育教学领域的良性发展。

参考文献：

[1]  黄欣荣，刘亮.ChatGPT赋能思想政治教育：技术路径与可能问题[J].江西财经大学学报，2023（6）：105.

[2]  王延川，赵靖.生成式人工智能诱发意识形态风险的逻辑机理及其应对策略[J].河南师范大学学报（哲学社会科学版），2023，50（4）：1.

[3]  文娱.“大思政课”视域下高校红色文化育人模式研究[J].黑龙江教育（理论与实践），2023，77（10）：85.

编辑∕王力

收稿日期：2023-09-19                                                          修回日期：2023-10-12

作者簡介：田淑慧，女，讲师，研究方向为思想政治教育。

基金项目：国家社会科学基金项目“新时代网络公共话语空间的意识形态治理研究”（19BKS094）；黑龙江省教育科学规划重点课题“网络意识形态安全教育融入高校思想政治理论课研究”（GJB1423344）；黑龙江省高等教育教学改革项目思政课研究专项“思政课教学中网络社会思潮辨析引导研究”（SJGSX2022006）