编辑
2024-09-18
深度学习
00

随着光学字符识别 (OCR) 技术的不断发展,传统的 OCR 系统已无法满足日益增长的智能处理需求。在《General OCR Theory》这篇论文中,作者提出了一种新的通用 OCR 理论,称之为 OCR 2.0,并开发了 GOT(General OCR Theory)模型。GOT 模型能够处理各种类型的字符,包括常规文本、数学公式、分子结构、图表、乐谱等,并支持多种 OCR 任务,如场景文本、文档级 OCR 和格式化输出。

image.png

编辑
2024-09-14
深度学习
00

1. 引言

在深度学习模型训练过程中,随着模型的复杂度增加和数据量的增多,单机单卡的计算能力逐渐无法满足需求。多机多卡分布式训练可以显著缩短训练时间,并提高训练效率。本文将介绍如何构建一个适合的多机多卡训练环境,利用Kubernetes(K8s)来进行分布式训练资源的管理与调度。

编辑
2024-09-13
深度学习
00

多机多卡深度学习训练:Python torch.distributed.launchtorchrunacceleratedeepspeed 对比解析

随着深度学习模型规模的迅速增长,单机单卡的计算能力往往不足以满足训练需求。在多机多卡的环境中,分布式训练技术成为了加速训练的关键。本文将从工具角度出发,探讨几种常用的分布式训练工具:python -m torch.distributed.launchtorchrunacceleratedeepspeed,分析它们的特点、优势、底层架构、如何使用以及是否可以交互使用。类似的还有Horovod、Ray Train,这里不介绍。

编辑
2024-09-13
深度学习
00

在深度学习、大规模并行计算等高性能计算场景中,多机多卡训练(multi-node, multi-GPU training)是关键技术之一,它能够大幅提升训练速度并处理超大规模数据集。然而,在多机多卡的分布式训练中,如何实现各个计算单元之间的高效通信和数据传输是一个非常重要的问题。本文将基于以下几个技术点来详细探讨如何构建多机多卡的训练环境:NVLink、RDMA、NCCL_IB_DISABLE,并分析这些技术如何在分布式训练中确保高效的数据通信。

编辑
2024-09-13
工具使用
00

FakeLocation 可以辅助Android的一些便捷开发,但有时候打开后就有强制更新弹窗,很烦人。

看b站教程,可以用magisk+lsposed 里阻止弹窗,我以小米6测试一下如何使用。

LSPosed 安装教程的总纲是这样: https://github.com/LSPosed/LSPosed/wiki/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8

编辑
2024-09-12
深度学习
00

如何评估大语言模型(LLM)性能

训练了一个大型语言模型(LLM)后,接下来的关键问题就是如何评估模型的好坏。评估LLM的性能不仅涉及到对模型的语言生成能力的测量,还包括对其通用性、鲁棒性和适应性等多个维度的考察。

本文将从以下几个方面探讨评估LLM的常用方法,并介绍各种评估指标与实践技巧。

编辑
2024-09-11
深度学习
00

探索大模型训练中的关键标签:system、user、role、content、assistant、observation、function

在大语言模型(如 GPT-4、GPT-5)的训练和使用过程中,标签(tags)起到了至关重要的作用。通过这些标签,模型能够理解并处理不同类型的信息,准确识别对话的角色、内容、功能调用以及外部工具交互。这些标签帮助模型保持对话的上下文连贯性,执行复杂任务并生成高质量的响应。在这篇博客中,我们将深入探讨七个重要的标签:systemuserrolecontentassistantobservationfunction,并探讨它们在大模型训练中的作用和重要性。

编辑
2024-09-11
深度学习
00

PPO(Proximal Policy Optimization,近端策略优化)是一种强化学习算法,由OpenAI于2017年提出,主要用于解决强化学习中策略更新时的不稳定性问题。PPO是深度强化学习领域中非常流行的一种策略优化方法,因其高效性和稳定性,广泛应用于许多复杂任务中,如机器人控制、视频游戏AI和自然语言处理等。

背景与问题

在强化学习中,智能体(agent)通过与环境交互,学习一个策略(policy),以便最大化累积奖励。经典的强化学习方法如策略梯度(Policy Gradient)和Q学习(Q-Learning)在策略更新时会遇到一些问题:

  1. 策略更新过大:当策略在更新时,如果变化过大,可能会导致策略的性能急剧下降,甚至偏离最优解。这种不稳定性使得算法在许多复杂环境下表现不佳。
  2. 样本效率低:在高维度环境中,传统的强化学习方法往往需要大量的样本才能找到较好的策略,样本效率较低。
编辑
2024-09-11
深度学习
00

分享issues:

https://github.com/hiyouga/LLaMA-Factory/issues/5398

从中获取到Deepspeed zero 3 在如何使用。

编辑
2024-09-10
深度学习
00
编辑
2024-09-10
数学之美
00

计算随机取汉字的概率与期望次数

在一个包含2万个汉字的集合中,如果我们每次随机取一个汉字,想要取到全部汉字的概率是多少?又需要取多少次,才能期望取到所有汉字?这些问题可以借助概率论中的“优惠券收集问题(Coupon Collector's Problem)”来解答。

编辑
2024-09-10
备忘录
00

该文章已加密,点击 阅读全文 并输入密码后方可查看。

编辑
2024-09-09
深度学习
00

这里有个收费的印章制作:https://tools.kalvinbg.cn/convenience/seal

这里有个java的印章制作:https://github.com/xxddccaa/SealUtil

这里还有一个别人的印章数据集:https://drive.usercontent.google.com/download?id=125SgEmHFUIzDexsrj2d3yMJdYMVhovti&export=download&authuser=0

image.png

本篇文章也用java制作一下印章数据集,可以应用于印章检测和印章识别。

编辑
2024-09-09
Linux运维
00

使用 tar 命令在 Linux 中压缩文件:实际案例分享

在 Linux 系统中,tar 是一个非常常用的命令,用来打包和压缩文件。最近,我和一位朋友讨论了如何将一个目录压缩为 .tar 文件,过程中分享了一个非常简洁的命令。这篇博客就是为了记录下这次有趣的对话和技巧,帮助大家更好地理解 tar 的使用。

编辑
2024-09-08
Linux运维
00

有几家非要收钱,不收钱就慢得要死,自建一个自己用肯定就快了。

编辑
2024-09-08
单片机
00

使用PIC16F1719进行ADC配置与读取详解

在嵌入式系统开发中,ADC(模数转换器) 是一个非常常见且重要的功能。它可以将模拟信号转换为数字信号,从而使得微控制器能够处理来自外部传感器等设备的模拟数据。在本文中,我们将使用PIC16F1719微控制器,并详细介绍如何配置和使用其内置的ADC模块来读取模拟信号。

编辑
2024-09-08
单片机
00

使用PIC16F1719的PWM功能实现及代码解析

在本篇博客中,我将详细解释如何在PIC16F1719微控制器上使用PWM(脉宽调制)功能,以及通过一段具体的代码演示如何配置和使用PWM来控制输出端口的信号。本文适合对PIC单片机有一定基础知识的读者,希望通过本篇文章能更好地理解PWM的概念和实际应用。

编辑
2024-09-08
单片机
00

深入了解 PIC16F1719 的 Timer2:配置与应用

在嵌入式系统中,定时器(Timer)是一种极其重要的外设,用于实现延时、计数和事件调度。本文将深入探讨 PIC16F1719 微控制器中的 Timer2,涵盖其配置方法、应用实例以及常见问题的解决方案。

编辑
2024-09-08
单片机
00

配置PIC16F1719的时钟和定时器中断以控制LED闪烁

本文将详细介绍如何配置PIC16F1719单片机的时钟、定时器以及中断功能,以实现定时控制LED的简单任务。我们使用了MPLAB XC8编译器,并通过配置寄存器设置和中断服务程序(ISR)来控制LED在固定的时间间隔内闪烁。

编辑
2024-09-08
单片机
00

使用PIC16F1719生成DAC梯形波形

在嵌入式系统中,数模转换器(DAC)是一种关键组件,可以将数字信号转换为模拟信号。本文将介绍如何使用PIC16F1719微控制器和XC8编译器来生成一个简单的梯形波形,该波形可以通过RA2引脚输出,并通过示波器进行监测。