本页整理的是课件当时公布的通知和课程规定。最新的发布情况、安排与截止日期,请以 Brightspace 为准。
- Sep 3,11:59 PM:原定的项目组队截止时间。第 5 讲提到,少数组别的成员还在协调。
- Sep 10,当天结束前:每组在 Brightspace 提交一份项目计划书,占课程总成绩的 5%。第 6 讲再次提醒,当天就是截止日。
- 第一次作业,Oct 13 下午 2:59(太平洋时间)截止:第 7 讲宣布 Sep 15 发布,由助教在 Brightspace 发通知,也在 Brightspace 提交。详见下面的作业一一节。此前公布的提交时间是:作业在截止日的 2:59 PM 前提交,其他项目材料在 11:59 PM PT 前提交。
- 项目计划书:第 7 讲通报 46 个组全部已提交,预计一周左右评完。
在哪里上课,遇到问题找谁? Lec 1–3
- 授课教师:课件介绍任翔(Xiang Ren)为 USC 计算机科学副教授,获 UIUC 博士学位,并列出 AI2、Snapchat、Stanford、Sahara AI 等相关经历。研究方向包括自然语言处理,大语言模型的推理与泛化,安全与可信性,模型对信息的归属、记忆与来源追溯,以及提高推理效率和扩展系统规模的方法。个人主页:seanre.com。
- 上课与资料:课件列出的上课时间为周二、周四 4:00–5:50 PM,地点是 SAL 101。讲义和阅读材料放在课程网站;通知与课堂录像放在 Brightspace。
- 答疑时间:第 3 讲更新为周五 8:45–9:30 AM,地点是 GCS SB5。
- 提问方式:课程问题统一在 Piazza 提问。其他同学也可能用得上的问题,尽量发公开帖;私密帖用于个人情况。课程要求不要直接给老师发邮件。选课和 D-clearance 由计算机系负责,通过 myViterbi 申请,也不要就这些事项给老师发邮件;老师不能预留课程名额。
- DEN 远程学生:通过 Brightspace 中的链接在线上课,幻灯片在课后发布。远程学生不必实时出席,但仍须完成测验。
- 计算资源:这些课件发布时,CARC 访问权限还在安排中,课程要求同学关注网站上的后续通知。
总成绩怎样组成? Lec 1 · Aug 25
| 项目 | 占总成绩 | 课件中的说明 |
|---|---|---|
| 两次作业,每次 10% | 20% | 包括编程题和论述题,每次安排 3–4 周。可能涉及的模块包括 n-gram 语言模型、词向量与循环神经网络语言模型、Transformer 中的注意力机制,以及大语言模型进阶主题;具体内容可能调整。 |
| 课程项目 | 55% | 计划书 5%;期中展示 5%;期中报告 15%;期末展示 10%;期末报告 20%。 |
| 论文评阅 | 10% | |
| 课堂参与 | 15% | 六次课堂测验、出勤,以及在 Piazza 上的参与。 |
课件说明,成绩通常在提交后 2–2.5 周内公布;如需申请重新评分,须在成绩公布后一周内提出。
迟交额度怎样使用?
每位学生一学期有六个迟交日额度(late-day token)。在允许使用的作业上,一个额度可以抵一天迟交。具体规则如下:
- 可用于作业、论文评阅,以及符合条件的项目材料。不能用于测验、展示或期末项目报告。
- 同一项作业最多使用三天;按整天计算,不能只用半天。
- 团队提交的材料也按个人扣除额度。每位成员想抵扣一天迟交,都要使用自己的一个额度。
- 没有额度覆盖的迟交日,每天扣 20%。没有用完的额度不会换成额外分数。
作业一:商品评论的情感分析 Lec 7 · PDF pp. 5–7
第 7 讲介绍了第一次作业。这是一份个人作业,满分 100 分,数据是 Amazon 办公用品的评论:共 200,000 条,按 80/20 划分训练集和测试集。截止时间是 2026 年 10 月 13 日下午 2:59(太平洋时间)。三个部分都直接用到前六讲的内容:
| 部分 | 分值 | 要做什么 | 本站相关笔记 |
|---|---|---|---|
| 整理评论并提取特征 | 50 | 清洗文本、去掉停用词、做词形还原,并构建 TF-IDF 特征。 | 文本预处理、TF-IDF |
| 训练并评估三个分类器 | 30 | 感知机、逻辑回归和多项式朴素贝叶斯。汇报训练集和测试集上的准确率、精确率、召回率和 F1。 | 逻辑回归 |
| 构建 bigram 语言模型 | 20 | 处理未登录词,比较加 k 平滑。分别在 \(k=1\)、\(0.1\)、\(0.01\) 下计算语料的困惑度。 | n-gram、未登录词、加 k 平滑、困惑度 |
- 提交方式:只交一个文件
sentiment.py,路径是 Brightspace → Activities → Assignments → HW1。使用 Python 3.12。不需要书面报告。 - 感知机与朴素贝叶斯:作业里提供了背景和参考资料,要求使用指定的 scikit-learn 实现,不需要推导算法。课上没有推导过这两个分类器,所以本站笔记也没有涉及。
测验、考勤与请假 Lec 1、2、4、7
- 课程安排六次课堂测验,不设补考。测验主要督促大家完成阅读,在课上发布并提交;DEN 学生通过 Brightspace 完成。
- 课件规定会随机检查出勤,缺勤可能影响成绩。测验也用于考勤,Piazza 上的参与情况则计入课堂参与成绩。
- 第 4 讲说明的测验流程:先用课上给出的口令进入 Brightspace 测验,同时扫描展示的动态二维码签到。这是两个都要完成的步骤。漏掉二维码签到,测验最终成绩就是零,即使 Brightspace 显示已有得分也一样。
- 第一次测验的出勤(第 7 讲):把获准请假和 DEN 学生都算在内,254 人参加了测验,23 人没有。
- DEN 学生的测验流程(第 7 讲):测验在课后发布。DEN 学生有 72 小时的窗口可以开始作答,测验本身 10 分钟,必须在 Respondus 锁定浏览器中完成。课件把浏览器名字拼成了"Rsoondus",Brightspace 用的产品叫 Respondus。
- 请假方法:至少在上课前 24 小时,到 Brightspace → Activities → Assignments 提交请假表。需要附上医生或导师证明、会议注册确认,或者老师明确批准的记录。医疗和学术之外的原因,须提前获得老师批准。
课程项目怎么做? Lec 1–7
项目围绕一个自然语言处理问题展开,对应课程学习目标 O4,可以做成研究项目,也可以做成可演示的应用。课件提供了两种方向:
- 研究型:针对已有问题开发模型或分析数据,也可以提出一个新的研究问题。
- 应用型:训练模型,或在已有模型上微调,再把它部署到新的应用场景。
标准组队人数是六人,允许 DEN 与线下学生混合组队,每个人都必须作出贡献。第 5 讲提到少数组别存在例外或成员调整,最终分组应以 Brightspace 和课程团队的确认为准。第 7 讲通报了最终结果:46 个完整的组,编号 1–47,没有第 41 组,46 份计划书都已提交。课程团队还在找两个愿意加入第七名成员的组,有意者发邮件到 hjarai@usc.edu。
助教担任项目导师,可以通过 Piazza 获取反馈。往届例子包括:用上下文蒸馏减少模型的有害语言,生成俳句,Legal-SBERT,用提示词增加回答的多样性,让大语言模型回答得更真实,生成菜谱,根据少量文字判断作者,以及识别社交评论中的侮辱。课件还建议参考 Stanford CS224N 和 CS229 的项目页面寻找灵感。
计划书要写清楚什么?(Sep 10 截止,占 5%)
规定格式为一页、单倍行距、10 磅字体。先说明项目类型,再逐项回答下面的问题。每项可以用一句话或几段话说明,但总长度仍须符合一页的限制。
- 你想做什么?不用术语,把目标说清楚。
- 现在大家怎样解决这个问题?现有方法有哪些不足?
- 你的方法新在哪里?为什么你认为它能成功?
- 哪些人会关心这个结果?
- 如果成功,会带来什么改变?
- 可能出什么问题?如果遇到这些问题,怎样尽早调整方向?
- 需要多少时间和计算资源?在一个学期内,凭你能获得的资源是否做得完?
- 列出通向最终成果的两个阶段性目标。
计划书怎样评分? Lec 5 · PDF pp. 4–5
每组只提交一份计划书,格式仍是一页、单倍行距、10 磅字体。应用型项目不必提出新的研究问题。评分细则共 20 分,计划书本身占课程总成绩的 5%。
| 评分项 | 分值 | 读者需要看懂什么 |
|---|---|---|
| 项目想法与目标 | 4 | 你要完成什么,以及项目属于研究型还是应用型。 |
| 相关工作 | 3 | 别人已经怎样做过,现有方法还有什么不足。 |
| 新意与影响 | 5 | 新在哪里,为什么可能成功,谁会受益,会带来什么变化。 |
| 计划与评估 | 6 | 风险及调整方案 2 分;时间和计算资源 2 分;两个阶段性目标 2 分。 |
| 表达与呈现 | 2 | 是否说得清楚、安排合理、容易理解。 |
来源:第 5 讲 PDF 第 4–5 页;第 6 讲 PDF 第 2 页。
合作与生成式人工智能的使用规定 Lec 1 · Aug 25
- 课件允许讨论作业,但要求代码和报告完全由自己完成。每个人也有责任避免自己的答案被分享或抄袭。
- 作业规定要求独立作答,不能依靠生成式人工智能代做。课件说明会检查此类工具的使用及提交内容的重合情况,并且对抄袭零容忍。
课程使用哪些教材?
课件说明,下面三本书均可通过课程网站免费获取。
- Jurafsky & Martin,Speech and Language Processing,第 3 版:主要用于打基础。目前列出的阅读包括第 3 章,对应第 2–3 讲的 n-gram 模型;以及第 5 章,对应第 3–4 讲的逻辑回归。
- Eisenstein,Natural Language Processing:从机器学习的角度介绍自然语言处理。
- Goldberg,Neural Network Methods for NLP:从深度学习的角度展开。