计算机网络（面试）

type

status

date

slug

summary

1. 扩散模型的基本原理是什么？与VAE、GAN有什么区别？

扩散模型（Diffusion Models）的基本原理：

扩散模型的灵感来自于非平衡热力学。其核心思想是通过一个前向过程（Forward Process） 和一个反向过程（Reverse Process） 来学习数据分布。

前向过程（加噪）：

逐步对一张真实图像（或任何数据）添加高斯噪声。每一步都根据一个预定义的方差调度（Variance Schedule）加入少量噪声。

经过足够多的步数 T 后，原始数据就变成了一个完全无结构的纯高斯噪声。

这个过程是固定的、无需学习的。

反向过程（去噪）：

这是模型需要学习的核心。目标是训练一个神经网络（通常是U-Net），让它能够学习如何将上述前向过程逆转。

给定第 t 步的噪声图像，神经网络被训练来预测出所添加的噪声，或者直接预测出更去噪后的图像。

通过这种方式，我们可以从一个纯随机噪声（标准高斯分布）开始，逐步进行“去噪”，最终生成一个符合原始数据分布的新样本。

与VAE、GAN的区别：

特征	扩散模型 (Diffusion)	变分自编码器 (VAE)	生成对抗网络 (GAN)
核心原理	通过逐步去噪生成样本。	学习一个潜空间，通过编码器-解码器结构重建和生成样本。	一个生成器和一个判别器相互对抗、博弈优化。
训练稳定性	非常稳定。训练目标（预测噪声）是明确的均方误差损失，不易模式崩溃。	稳定。训练目标是最大化证据下界（ELBO），有明确的损失函数。	不稳定。生成器和判别器的训练需要精细平衡，容易发生模式崩溃和难以收敛。
生成质量	通常最高。能产生多样性和保真度都极佳的样本，尤其在图像领域。	通常一般。生成的样本往往比较模糊，因为其损失函数倾向于重建的平均值。	高保真度。能生成非常尖锐、真实的样本，但多样性可能不如扩散模型。
采样速度	慢。生成一个样本需要多次（甚至上千次）神经网络前向传递。	快。生成只需解码器一次前向传递。	快。生成只需生成器一次前向传递。
潜空间	没有显式的、结构化的潜空间。中间状态是高维的（与数据同维度）。	有显式的潜空间。通常连续且结构化，便于插值和操作。	有潜空间，但其结构和性质不如VAE的那么明确和容易解释。
应用特点	在需要高质量生成的领域占主导，如图像、音频、分子生成。	更适合需要平滑潜空间的任务，如图像编辑、插值。	常用于对实时生成速度要求高的应用，如风格迁移。

小结：扩散模型以其卓越的生成质量和训练稳定性见长，但牺牲了采样速度。VAE提供了有意义的潜空间但生成样本模糊。GAN采样快、样本质量高但训练困难。你的TBFN项目正是为了解决扩散模型采样慢这个核心痛点。

2. 你如何理解“可控生成”（Controllable Generation）？

可控生成是指引导生成模型产生具有特定期望属性的样本的过程。

它不仅仅是随机生成一个高质量样本，而是要求生成的样本必须满足用户指定的一个或多个条件。

我的理解可以从以下几个层面展开：

核心思想：将额外的条件信息（Conditioning Information）注入到生成过程中。这个条件 y 可以是类别标签、一段文本描述、一张草图、一组属性值（如分子的溶解度>90%）等。

技术实现方式（以扩散模型为例）：

训练时条件化（Classifier-Free Guidance, CFG）：这是当前最主流和有效的方法。在训练时，随机地以一定概率“丢弃”条件信息（设置为空值）。这样模型同时学会了有条件生成和无条件生成。

在采样时，模型在条件预测和无条件预测之间做一个方向性的插值：ϵ_guided = ϵ_uncond + guidance_scale * (ϵ_cond - ϵ_uncond)。
guidance_scale 是一个超参数，越大，生成结果与条件 y 的相关性就越强，但可能会牺牲一些多样性。

基于分类器引导（Classifier Guidance）：训练一个额外的分类器来指导预训练的无条件扩散模型。在采样时，噪声数据的梯度会根据分类器对目标类别的置信度进行调整。这种方法更早期，需要额外训练分类器。

你的方法：在你的“动态推理”工作中，你采用了另一种思路——将属性预测作为联合损失的一部分，让模型在每一个去噪步骤都内部地、主动地推理属性，从而实现更精细、更融合的可控生成。这与CFG这种外部引导方式形成了有趣的对比。

应用场景：

文本到图像：根据“一只戴着墨镜的柯基犬在时代广场”生成图片。

分子设计：生成具有高药物活性和低毒性的分子（这正是你科研工作的核心）。

音频生成：生成特定风格、特定说话人声音的语音。

总结：可控生成是生成模型从“炫技”走向“实用”的关键一步，它使AI生成内容（AIGC）变得可指导、可定制、可应用于解决特定领域问题。

3. 你是否了解贝叶斯优化、主动学习等相关方法？

是的，我了解这些方法，它们都属于机器学习中优化和高效学习的重要范畴，尤其在实验成本高、数据获取困难的场景下非常有用。

1. 贝叶斯优化（Bayesian Optimization, BO）

目的：为了优化一个评估成本极高的“黑箱”函数 f(x)。例如，深度学习模型的超参数组合 x 的性能 f(x)，需要训练好几天才能评估一次。

核心组件：

代理模型（Surrogate Model）：通常使用高斯过程（Gaussian Process, GP）来根据已有点 {x, f(x)} 建模并预测整个搜索空间上的函数分布（均值和方差）。
采集函数（Acquisition Function）：基于代理模型的预测，决定下一个最有希望的点在哪里去评估。它平衡了探索（Exploration）（在不确定性高的区域采样）和利用（Exploitation）（在预测值高的区域采样）。常用的采集函数有Expected Improvement (EI)、Upper Confidence Bound (UCB)等。

流程：循环迭代：代理模型拟合历史数据 -> 采集函数推荐新点 -> 评估新点 -> 将新数据加入历史数据。

与我的关联：在机器学习研究中，它可以用于自动调参。虽然我未在简历项目中直接使用，但我了解它是自动化机器学习（AutoML）和实验设计的关键工具。

2. 主动学习（Active Learning, AL）

目的：在标注数据稀缺或昂贵的情况下，让学习算法能够主动地、智能地选择“最有价值”的数据点请专家进行标注，从而用尽可能少的标注成本达到尽可能好的模型性能。

核心问题：如何定义“最有价值”？

不确定性采样：选择模型最不确定的样本（例如，预测概率最接近0.5的分类样本）。
委员会查询：训练多个模型，选择它们分歧最大的样本。
模型变化最大化：选择一个如果被标注会最大程度改变当前模型的样本。

与我的关联：这在与实验科学结合的场景中非常有用。例如，在分子生成中，可以先用生成模型产生大量候选分子，然后用主动学习策略挑选出少数最值得进行昂贵物理实验或计算的分子进行验证，从而高效地优化模型。

3. 它们与生成模型的联系（我的研究方向）：

这些方法可以与我的研究方向（如分子生成）紧密结合，形成一个闭环：

生成模型（如我的扩散模型）产生大量候选分子。

主动学习策略从这些候选分子中挑选出最具有潜力或最不确定的少数分子。

对这些选出的分子进行昂贵的计算模拟或实验（这相当于贝叶斯优化中评估 f(x)）。

将这些新的**（分子, 属性）** 数据对加入训练集，重新训练或微调生成模型，使其下一次能生成更好的分子。这个过程被称为贝叶斯优化引导的生成或设计-测试-学习循环，是AI驱动科学发现（AI4Science）的一个核心范式。

好的，以下是针对你简历中“一、科研经历”和“二、项目经历”部分可能被问到的问题的诚实回答。不清楚的细节已留空。

一、科研经历相关的问题

关于“动态推理驱动的分子生成模型研究”

1. 请简要介绍你在“动态推理驱动的分子生成模型”中的工作。 这项工作旨在提高分子生成模型的可控性和性质准确性。我们设计了一个框架，在基于离散扩散模型的每个去噪步骤中，引入一个图神经网络来推理分子的性质（如HOMO-LUMO能隙、偶极矩等），并将性质预测误差与扩散损失结合，形成一个联合损失函数来共同优化模型。这样，模型在生成分子结构的同时，也能更好地满足目标性质的要求。

2. 你提到的“离散扩散与图神经网络结合”具体是如何实现的？ 我们使用离散扩散模型来生成分子的原子类型和化学键（将其视为离散状态）。在每一个去噪步骤（即预测上一步噪声分子状态的步骤），我们不仅用GNN来预测噪声，还让同一个GNN编码器同时输出对当前中间态分子性质的预测。这个性质预测结果被用来计算一个额外的损失项，与扩散损失一起回传，从而指导模型生成过程。

3. 什么是联合损失函数？你是如何设计它的？ 联合损失函数由两部分组成：一部分是标准的离散扩散损失（如交叉熵损失），用于确保生成的分子结构正确；另一部分是基于性质预测的均方误差（MSE）损失，用于确保生成分子的性质接近目标值。通过一个加权超参数将这两部分损失结合起来：L_total = L_diffusion + λ * L_property。

4. 为什么选择QM9数据集？你了解这个数据集的特点吗？ QM9是一个广泛用于分子生成和性质预测基准研究的数据集。它包含约13.4万个小有机分子，每个分子都有多个精确计算的量子化学性质（如HOMO, LUMO, μ等），数据干净且标准，非常适合进行分子“结构-性质”关系的研究。

5. HOMO 和 μ 分别代表什么？为什么选择这两个指标？

HOMO（最高占据分子轨道）能级与分子的电子跃迁、化学反应活性密切相关。

μ 是分子的偶极矩，反映了分子的极性和溶解度等物理化学性质。选择这两个指标是因为它们是评估分子功能的关键量子化学性质，并且在QM9数据集中是标准计算属性，便于进行定量比较。

6. 你在实验中遇到的最大挑战是什么？是如何解决的？ 最大的挑战是如何平衡结构生成质量和性质准确性。初期模型要么生成的分子结构无效，要么性质不达标。我们通过调整联合损失中的权重超参数λ，并进行大量的消融实验，最终找到了一个能较好平衡两者的设置。

7. 你如何评估生成分子的质量？除了MAE还用了哪些指标？ 除了性质预测的MAE，我们还使用了分子生成领域常用的指标，例如：

Validity：生成的分子在化学上是否合法（原子价是否正确）的比例。

Uniqueness：生成的非重复分子的比例。

Novelty：生成的分子与训练数据集中分子不相同的比例。

(可能还有：恢复率、FCD等，具体取决于论文中实际汇报的指标)。

关于“Topological Bayesian Flow Network (TBFN)”

8. 请介绍一下TBFN（Topological Bayesian Flow Network）的核心思想。 TBFN的核心思想是将分子图的生成建模在一个连续的参数空间中，而不是传统的离散原子/键空间。它利用贝叶斯流网络（BFN）的框架，将离散的图拓扑结构（边）和节点属性通过参数化表示，从而允许更高效、更灵活的生成过程。

9. “拓扑边简化”具体是指什么？为什么要这样做？ （注：简历中提及此术语，但其具体技术细节可能由合作者主要负责或已在投稿论文中定义。若不了解细节，可如实回答）根据名称推测，这可能是指在模型的连续表示中，对边的存在概率进行某种简化或近似，以减少计算复杂度并提高采样效率。具体实现细节建议参考我们的论文手稿。

10. 为什么TBFN能提升采样速度？背后原理是什么？ BFN框架本身支持任何步数的采样（包括一步生成）。传统的扩散模型需要多步（如1000步）迭代去噪，而TBFN可以通过调节采样的步数在速度和质量之间进行权衡，理论上一步采样就可以生成样本，因此速度可以得到极大提升。

11. IJCAI被拒稿，你从这次投稿中学到了什么？ 虽然结果遗憾，但这是一次宝贵的学习经历。审稿人的意见（特别是那一条负面意见）让我们认识到工作的局限性和表述清晰度上的不足。例如，我们需要更清晰地阐述模型的创新点（与已有BFN工作的区别），更充分地设计对比实验，以及更严谨地分析模型在复杂数据集上的失败案例。这为我们后续改进工作指明了方向。

12. 你如何对比不同分子生成模型的性能？哪些指标最重要？ 我们通常在相同的数据集（如ZINC250K, QM9）上，对比相同数量的生成样本。最重要的指标取决于关注点：

生成质量：Validity, Uniqueness, Novelty

性质准确性：对于目标性质（如药物相似性QED、合成可及性SA）的统计相似性，或FCD（Fréchet ChemNet Distance）来衡量分布层面的相似性。

效率：采样速度（分子/秒）。

可控性：条件生成时，生成分子满足目标性质的比例或误差。

13. 你是否尝试过其他生成模型（如VAE、GAN、Flow-based）？与扩散模型相比各有何优劣？ 是的，在文献调研和基线对比中我们了解过这些模型。

VAE：训练稳定，但容易生成无效分子，生成质量有时较低。

GAN：可以生成高质量样本，但训练困难，容易出现模式崩溃。

Flow-based：可精确计算似然，但通常结构复杂，对离散图数据的处理不如扩散模型灵活。

Diffusion Models：在这些模型中显示出最强的生成质量，训练稳定，但传统扩散模型采样速度慢。我们的TBFN工作正是在尝试解决扩散模型采样慢的问题。

二、项目经历相关的问题

关于“智能教学实训平台”

14. 请介绍你在“智能教学实训平台”中负责的架构设计。 我负责设计了前后端分离的架构。

前端：计划使用Vue.js或React等现代化框架构建单页面应用（SPA），负责用户交互界面。

后端：计划使用Python的Django或FastAPI框架构建RESTful API，处理业务逻辑、用户认证、数据持久化等。

AI服务：将开源大语言模型（如LLaMA系列）通过API封装成独立的服务，供后端调用。

数据库：使用关系型数据库（如MySQL/PostgreSQL）存储结构化数据，可能使用向量数据库（如Milvus/Chroma）来支持本地知识库的语义检索。

15. 为什么选择前后端分离架构？有哪些优缺点？优点：

职责清晰：前后端开发可以并行进行，提高开发效率。

易于维护和扩展：后端API可以服务于Web、移动App等多种客户端。

技术选型灵活：前后端可以选择最适合各自领域的技术栈。缺点：

初次加载可能稍慢：需要单独加载前端资源。

SEO不友好：但本项目是教学平台，对SEO要求不高。

16. 你如何集成和优化大语言模型？有没有做模型微调？

集成：使用transformers等库加载开源模型（如LLaMA-2），并使用FastAPI等框架将其封装为HTTP API服务。

优化：计划采用模型量化（如8-bit或4-bit量化）和使用更高效的推理引擎（如vLLM, TensorRT）来提升推理速度和降低资源消耗。

微调：由于项目周期和算力限制，主要计划采用提示工程（Prompt Engineering）和检索增强生成（RAG） 来提升模型在特定教学领域的表现。是否进行P-Tuning或LoRA等参数高效微调，取决于后续的时间和资源情况。

17. 本地知识库是如何构建和接入的？用了哪些技术？ 计划的技术栈是：

构建：

数据处理：将本地的教学文档（PDF, Word, PPT等）进行文本提取和清洗。

文本分割：使用LangChain或LlamaIndex等工具将长文本切分成更小的语义块（Chunks）。

向量化：使用SentenceTransformer等嵌入模型将文本块转换为向量。

存储：将向量和原始文本存储到向量数据库（如ChromaDB或Milvus）中。

接入：

用户提问时，先将问题向量化，在向量数据库中进行相似度检索，找到最相关的知识片段。

将这些片段作为上下文，与用户问题一起构造成Prompt，发送给大语言模型生成最终答案。这就是检索增强生成（RAG） 的核心流程。

18. 平台是否支持实时交互？如何处理高并发请求？

实时交互：对于聊天辅导这类功能，目标是支持实时交互。

高并发处理：

后端：使用异步框架（如FastAPI）并设置合适的worker数量（例如使用Uvicorn）。
AI服务：部署多个模型推理实例，并使用负载均衡器（如Nginx）将请求分发到不同的实例上。
缓存：对常见问题或通用回复引入缓存机制（如Redis），减少对模型的重复调用。
队列：如果请求量极大，可以考虑引入消息队列（如RabbitMQ, Kafka）来异步处理生成任务，实现请求削峰。

19. 你有没有考虑过模型的可解释性或者伦理问题？可解释性：在生成题目解析或学习建议时，平台可以设计功能引用知识库的来源，让用户知道答案的依据是什么，增加可信度。 伦理问题：

偏见：我们意识到开源训练数据可能带来的偏见，因此在提示词中会强调生成中立、公平、无歧视的内容。

滥用：平台会设定使用条款，禁止生成不当或有害内容，并通过内容过滤机制进行一定程度的后监控。

隐私：所有用户数据会进行脱敏处理，严格遵守数据隐私规范。

🌐计算机网络（面试）