仓库结构

• 作业在./hw/hw.md
• 关于MoE的补充材料在./supplementary/CS336-MoEs.pdf

Conda + PyTorch 环境准备

如果你之前已经在 Python 课程中配置过 Conda 环境，直接创建一个新环境并跳过这一节即可。没有接触过的同学也不用担心，按照以下步骤来配置你的开发环境，确保你能轻松运行课程所需的代码。

什么是 Conda？

Conda 是一个跨平台的开源软件包管理系统和环境管理系统，它能够让我们在不同项目中创建隔离的运行环境，避免不同库版本冲突的问题。在 Windows、macOS 和 Linux 上都可以使用 Conda。通过 Conda，你可以快速安装、管理和切换不同的环境。

Anaconda 是一个包含 Conda 的预配置工具集，内置了常见的 Python 库，推荐大家使用 Anaconda，因为它已经为数据科学和机器学习等领域做了很多优化。

安装 Conda 和 Anaconda

下载 Anaconda

推荐通过 TUNA 镜像站 下载 Anaconda 安装包，这样可以大大提高下载速度。

安装 Anaconda

• Windows：双击下载好的 .exe 安装包，按提示完成安装（建议勾选 “Add Anaconda to my PATH”）。
• macOS / Linux：打开终端，执行 bash Anaconda3-xxx.sh，按提示完成安装。

创建 Conda 环境

打开命令行终端（Windows 推荐 Anaconda Prompt，macOS/Linux 用系统终端），使用以下命令创建一个新的环境：

conda create -n torch_env python=3.10

你可以将 torch_env 替换为你喜欢的环境名称。

激活环境

创建好环境后，激活它： Windows：

conda activate torch_env

macOS / Linux：

source activate torch_env
conda activate torch_env 

安装 PyTorch

PyTorch 官网提供了多种安装方式，推荐使用 Conda 安装，因为它能自动解决 CUDA、cuDNN 等依赖问题。

CPU 版本（无 GPU）

conda install pytorch torchvision torchaudio cpuonly -c pytorch

GPU 版本（需要 NVIDIA 显卡 + 驱动） CUDA 11.8（示例）：

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

若不确定显卡支持哪个 CUDA 版本，终端执行 nvidia-smi 查看驱动信息，或参考 PyTorch 官网 的交互式安装指南。

验证安装

激活环境后，在 Python 交互式解释器中输入以下命令，确认 PyTorch 已成功安装：

import torch
print(torch.__version__)          # 查看 PyTorch 版本
print(torch.cuda.is_available())  # GPU 版本应返回 True

安装其他依赖

本作业只需要 PyTorch，无其他依赖