LLM

本文探讨了谷歌的Gemini模型在广西水患原因分析中的表现，并介绍了动态参数微调技术。作者指出，RAG技术并非Gemini模型回答问题的原因，而是动态参数微调方法。这种技术通过混合5%的新数据和95%的旧数据来微调模型，使其既能保持原有表现，又能获得新知识。RAG的优势在于量大管饱、更新快且无需对LLM进行增量式预训练+微调。专家模型通过增量式微调和门控网络来判断哪些专家参与接收高质量数据，从而实现动态切换。模型参数方面，总参数量决定了模型的知识储备，而激活参数量则影响推理速度。