闽江学院本科毕业论文 第1篇
第一条 为贯彻落实_中央、_《深化新时代教育评价改革总体方案》和_中央办公厅、_办公厅《关于深化新时代教育督导体制机制改革的意见》精神，加强学士学位授予质量监督，提高本科人才培养基本质量，根据《教育部关于印发〈本科毕业论文（设计）抽检办法（试行）〉的通知》（教督〔2020〕5号）、省教育厅《福建省本科毕业论文（设计）抽检实施细则（试行）》（闽教高〔2021〕45号）要求，现结合我校实际情况，制定本实施细则。
第二条教务处负责闽江学院本科毕业论文（设计）（以下简称本科毕业论文）抽检工作的统筹组织和监督。
第三条本科毕业论文抽检工作应遵循独立、客观、科学、公正原则，任何单位和个人都不得以任何方式干扰抽检工作的正常进行。
第四条原则上抽检工作每年进行两次，分学校抽检和省教育厅抽检，学校抽检对象为当前年度授予学士学位的论文、省教育厅抽检对象为上一学年度授予学士学位的论文，每次抽检比例原则上应不低于2%。抽检论文应覆盖学校全部本科专业。对于新专业等需要重点监测的专业适度提高本科毕业论文抽检比例。
闽江学院本科毕业论文 第2篇
大型语言模型（LLMs）在一般领域的语料库上训练已在自然语言处理（NLP）任务上显示出卓越的成果。然而，以往的研究表明，使用领域专注的语料库训练的LLMs在专业任务上表现更佳。
受到这一关键见解的启发，论文开发了INDUS，这是一套专为地球科学、生物学、物理学、日球层物理学、行星科学和天体物理学领域量身定制的LLMs，使用从多样化数据来源精选的科学语料库进行训练。这套模型包括：
论文还创建了三个新的科学基准数据集，分别是CLIMATE-CHANGE-NER（实体识别）、NASA-QA（抽取式QA）和NASA-IR（信息检索），以加速这些多学科领域的研究。
最后展示了模型在这些新任务以及感兴趣领域的现有基准任务上，均优于通用编码器（如RoBERTa）和现有的领域特定编码器（如SciBERT）。
闽江学院本科毕业论文 第3篇
低秩适应是一种流行的、用于大型语言模型的高效微调方法。论文分析了在LoRA中实现的低秩更新的影响。
发现表明，低秩更新机制可能限制了LLMs有效学习和记忆新知识的能力。受此启发提出了一种名为MoRA的新方法，该方法采用正方形矩阵实现高秩更新，同时保持可训练参数的数量不变。
为实现这一点，引入了相应的非参数操作符来减小输入维度并增加正方形矩阵的输出维度。这些操作符确保了权重可以合并回LLMs，这意味着这个方法可以像LoRA一样部署。
论文对提出的方法进行了全面评估，涵盖五个任务：指令调整、数学推理、持续预训练、记忆和预训练。方法在记忆密集型任务上表现优于LoRA，并在其他任务上实现了可比的性能。
闽江学院本科毕业论文 第4篇
Transformer已成为自然语言和计算机视觉任务的基础架构。然而高计算成本使其难以部署在资源受限的设备上。
论文研究了高效Transformer的计算瓶颈模块，即归一化层和注意力模块。LayerNorm通常用于Transformer架构，但由于在推理过程中需要进行统计计算，因此并不计算友好。然而在Transformer中用更高效的BatchNorm替换LayerNorm往往会导致性能下降和训练崩溃。
为解决这个问题论文提出了一种名为PRepBN的新方法，该方法在训练中逐步用重新参数化的BatchNorm替换LayerNorm。还提出了一种名为简化线性注意力（SLA）模块，它简单而有效，能够实现强大的性能。在图像分类和对象检测上进行了广泛的实验，以证明提出的方法的有效性。
例如，SLAB-Swin在ImageNet-1K上获得了的top-1准确率，延迟为毫秒，比Flatten-Swin低毫秒，准确率高出。还评估了方法在语言建模任务上的表现，并获得了可比的性能和更低的延迟。
闽江学院本科毕业论文 第5篇
Lean 彻底改变了数学证明验证的方式，确保了高精度和可靠性。尽管大型语言模型（LLMs）在数学推理方面表现出前景，但它们在形式定理证明的进步受到训练数据不足的阻碍。
为了解决这个问题，论文引入了一种生成大量 Lean 4 证明数据的方法，这些数据源自高中和本科级数学竞赛题目。这种方法包括将自然语言问题转换为正式声明，过滤掉质量低的声明，并生成证明来创建合成数据。
在这个包含800万个正式声明及其证明的合成数据集上对 DeepSeekMath 7B 模型进行微调后，模型在 Lean 4 miniF2F 测试中实现了的整个证明生成准确率（64个样本），超过了基准的 GPT-4（准确率，64个样本）和一种树搜索强化学习方法（）。
此外模型在 Lean 4 国际数学奥林匹克（FIMO）的标准化基准测试中成功证明了148个问题中的5个，而 GPT-4 未能证明任何问题。
这些结果表明，利用大规模合成数据提升 LLMs 的定理证明能力具有潜力。论文后续将提供合成数据集和模型，以便进一步研究这一有前景的领域。
闽江学院本科毕业论文 第6篇
巨大的内存消耗一直是在实际应用中部署高吞吐量大型语言模型的主要瓶颈。除了大量参数外，Transformer架构中用于注意力机制的键值（KV）缓存也消耗了大量内存，尤其是当深度语言模型的层数较多时。
论文提出了一种新方法，该方法只计算并缓存少数几层的KV，从而显著节省内存消耗并提高推理吞吐量。
在大型语言模型上的实验表明，与标准Transformer相比，方法在语言建模和下游任务中实现了高达26倍的吞吐量提升，并保持了竞争性的表现。
此外这个方法与现有的Transformer节省内存技术是正交的，因此将它们与论文的模型集成非常简单，还可以进一步提高推理效率。
