报道机器之心
编辑：陈萍，小舟
狂欢过后，事情的方向开始进入封杀的过程。
问最近的时间 AI 哪个模型是世界上最出圈的？十分之九的人会投票 ChatGPT 一票，没办法，这个模型真的太热了，因为它会有太多的东西。很多人形容它是真的「六边形战士」：不仅可以聊天、搜索、翻译，还可以写故事、代码、debug，甚至开发小游戏，参加美国高考…… 有人开玩笑说，从此人工智能模型只有两种。 —— ChatGPT 和其他。
一方面 ChatGPT 能力过于惊艳，深受大众喜爱，另一方面，也是麻烦不断，被不同机构禁止。前段时间有 Stack Overflow 封禁 ChatGPT 消息满天飞，没有其他原因，官方表示暂时禁止 ChatGPT 因为它生成的答案准确率太低，发布是由 ChatGPT 创建的答案对网站和查询正确答案的用户非常有害。
风暴过去不久，顶级人工智能会议也开始禁止使用 ChatGPT 和 AI 工具写的学术论文。我们往下看。
ICML 禁止使用大型语言模型写论文
几天前，国际机器学习会议 ICML 宣布:禁止使用大型语言模型进行征集（LLM，如 ChatGPT）除非生成的文本是论文实验分析的一部分。
文件地址：https://icml.cc/Conferences/2023/llm-policy
根据 ICML 的说法，ChatGPT 虽然这种语言模型代表了未来的发展趋势，但随之而来的是一些意想不到的后果和难以解决的问题。ICML 表示，ChatGPT 接受公共数据培训，通常在未经同意的情况下收集，谁负责任。
还有作者身份的问题，是谁？「写」论文：机器还是人类？ ICML 仅禁止 AI 完全生成的文本尤为重要。会议组织者表示，他们不禁止使用 ChatGPT 工具编辑或润色作者撰写的文本，并指出许多作者使用语法校正软件 Grammarly 等半自动编辑工具来润色文章。
但这一消息一出，在社交媒体上还是引发了一场大讨论，Yann LeCun 转发评论：「如果不能使用大型语言模型，中小型语言模型还能使用吗？」
微软研究院 ML 基础团队负责人 Sebastian Bubeck 规则是「目光短浅」 ，并在推特上写道：「ChatGPT 变体是未来技术发展的一部分。禁止绝对不是最好的答案。」
ICML 表示明年将重新评估 AI 禁止生成文本。
长期以来，人们对人工智能生成文本的有害影响有不同的担忧。最常见的问题之一是统的输出结果根本不可靠。
训练后，人工智能模型可以预测任何给定句子中的下一个单词，但它们没有硬编码「事实」数据库可供参考，因此模型的生成结果往往似是而非。很多时候，生成的句子符合语法逻辑，但不符合客观现实。
另一个问题也很难解决 —— 因为我们很难区分文本 AI「润色编辑」是的，还是完全由 AI 如果作者使用它，这个问题对论文非常严重 AI 基于论文生成简洁摘要的模型是编辑文本还是从头开始生成文本？
当然，使用 ChatGPT 这样的 AI 工具不仅仅是缺点。例如，在同行评审中，流畅的英语表达往往会获得更高的评价，AI 该模型可以帮助非英语母语论文作者生成更流畅的英语文本。这将为研究人员节省时间，为学术领域创造更公平的竞争环境。
但需要注意的是，ChatGPT 是大型语言模型（LLM），和 Grammarly 简单的语法校正软件差别很大。LLM 它的主要功能不是调整文本的结构和语言，而是生成一些新文本。
事实上，很少有论文作者真正使用它 AI 语言模型生成学术论文。由于学术论文的要求非常严格，作者通常会在出版前反复检查论文的内容。如果使用 AI 所有签名论文作者的声誉都会受到严重影响，这与论文作者的整个职业生涯有关。
从论文评审的角度来看，人们需要一个快速有效的检测工具来区分一篇文章 AI 生成或人工写作。最近，开发者发布了一个名字 GPTZero 具有此检测功能的新应用程序。
GPTZero 普林斯顿大学计算机科学专业的学生 Edward Tian 使用两个不同的指标来评估文本是否由开发 AI 模型编写:混乱（perplexity）和突发性（burstiness）。这可能是用的「模型」打败「模型」吧。
禁止访问纽约学校 ChatGPT
几乎同时，ChatGPT 被学校禁止。 AI 纽约市教育部已经在其网络和设备上阻止了工具破坏教育 ChatGPT 的访问。
该部门的发言人 Jenna Lyle 表示这个禁令主要是担心的 ChatGPT 潜在的负面影响和对学生学习的影响 ChatGPT 担心生成内容的安全性和准确性。虽然该工具可以提供快速和简单的答案，但它不能培养批判性思维和解决问题的能力，这对学生的学习和终身成功至关重要。
除此以外，ChatGPT 其他语言模型也存在问题。由于其训练数据来自互联网，它经常在答案中重复和放大性别歧视和种族偏见。这种语言模型也倾向于编造从历史日期到科学规律的信息，但其他人通常找不到它。
正是这些事实错误让教育工作者特别担心这个工具。许多老师说，就像 ChatGPT 这样的软件基本上不可能测试学生写论文的能力。 ChatGPT 他们可以在几秒钟内帮助学生完成写作，所以他们不想花心思写作。
然而，其他人认为教育体系必须适应这种技术的出现 —— 就像谷歌搜索和维基百科一样，它适应了早期的颠覆性技术。但是每个人都对 ChatGPT 显然，适应需要一些时间。
无论是人工制定和执行文本编写规范，还是使用一些方法来区分文本是否为 AI 生成都表明人们意识到急需规范 ChatGPT 使用文本生成模型。ChatGPT 使用场景和价值仍有待定义。
参考链接：
https://www.theverge.com/2023/1/5/23540263/chatgpt-education-fears-banned-new-york-city-safety-accuracy
https://www.theverge.com/2023/1/5/23540291/chatgpt-ai-writing-tool-banned-writing-academic-icml-paper
https://twitter.com/edward_the6/status/1610067688449007618?s=20&t=KcWXRmQ0sNLMWKgZFIivrw
https://www.thedailybeast.com/princeton-student-edward-tian-built-gptzero-to-detect-ai-written-essays
© THE END
转载请联系本微信官方账号授权
提交或寻求报告：content@jiqizhixin.com
