包含标签：自然语言处理 的文章
-
ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战
介绍 ChatGLM-6B是开源的文本生成式对话模型,基于General Language Model(GLM)框架,具有62亿参数,结合模型蒸馏技术,实测在2080ti显卡训练中上(INT4)显存占用……admin 2023-08-19
-
LLaMA长度外推高性价比trick：线性插值法及相关改进源码阅读及相关记录
前言 最近，开源了可商用的llama2，支持长度相比llama1的1024，拓展到了4096长度，然而，相比GPT-4、Claude-2等支持的长度，llama的长度外推显得尤为重要，…… -
NLP（六十三）使用Baichuan-7b模型微调人物关系分类任务
任务介绍 人物关系分类指的是对文本中的两个人物，在特定的关系列表中，判断他们之间的人物关系。以样本亲戚 1837年6月20日，威廉四世辞世，他的侄女维多…… -
使用GGML和LangChain在CPU上运行量化的llama2
Meta AI 在本周二发布了最新一代开源大模型 Llama 2。对比于今年 2 月发布的 Llama 1，训练所用的 token 翻了一倍，已经达到了 2 万亿，对于使用大模型最重要…… -
ChatGPT训练流程
图源：State of GPT - Microsoft Build 笔者翻译上图如下： 阶段 子阶段 目标 备注 Pre-Training -------- 语言建模 Instruction Finetuning -…… -
NLP学习：seq2seq详解
目录 1了解seq2seq是什么？ 2基于RNN的seq2seq模型如何处理文本/长文本序列？ 3seq2seq模型处理长文本序列有哪些难点？ 4基于RNN的seq2seq模型如何结合attent…… -
LangChain大型语言模型(LLM)应用开发(二)：Conversation & Memory
LangChain是一个基于大语言模型（如ChatGPT）用于构建端到端语言模型应用的 Python 框架。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) …… -
预训练、微调和上下文学习
最近语言模型在自然语言理解和生成方面取得了显著进展。这些模型通过预训练、微调和上下文学习的组合来学习。在本文中将深入研究这三种主要方法，了解它们之…… -
轻松玩转开源大语言模型bloom（一）
前言 chatgpt已经成为了当下热门，github首页的trending排行榜上天天都有它的相关项目，但背后隐藏的却是openai公司提供的api收费服务。作为一名开源爱好者…… -
ChatGPT对未来编程语言发展的影响与展望
目录 一、引言 1.ChatGPT的介绍与背景 介绍 背景 2.编程语言发展的重要性和挑战 重要性 挑战 二、ChatGPT在编程领域的应用 1.自然语言处理技……