不用敲代码,就可以快速探索模型结构。
Neuron viewer:一个 React 应用程序,用于托管 TDB 以及包含有关各个模型组件(MLP 神经元、注意力头和两者的自动编码器 latents)信息的页面。 Activation server:对主题模型进行推理,为 TDB 提供数据的后端服务器。它还从公共 Azure 存储桶读取和提供数据。 Models:GPT-2 模型及其自动编码器的简单推理库,带有捕获激活的 hook。 整理好的激活数据集:包含 MLP 神经元、注意力头和自动编码器 latents 的顶级激活数据集示例。
# If you're already in a venv, deactivate it.
deactivate# Create a new venv.
python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.
source ~/.virtualenvs/transformer-debugger/bin/activate
git clone git@github.com:openai/transformer-debugger.gitcd transformer-debugger
# Install neuron_explainer
pip install -e .
# Set up the pre-commit hooks.
pre-commit install
# Install neuron_viewer.
cd neuron_viewer
npm installcd ..
运行 pytest; 运行 mypy —config=mypy.ini; 运行激活服务器和神经元查看器,并确认 TDB 和神经元查看器页面等基本功能仍然有效。