2025-02-17
Linux运维
00

Git代理设置与取消指南

作为开发者,我们常遇到企业内网或特殊网络环境下无法直接访问Git仓库的情况。本教程将详细介绍如何为Git设置代理(Proxy)以及如何取消代理配置,并提供常见问题排查方法。

2025-02-17
深度学习
00

项目介绍

https://github.com/kvcache-ai/ktransformers

GitHub - kvcache-ai/ktransformers: A Flexible Framework for Experiencing Cutting-edge LLM Inference

2025 年 2 月 10 日:支持 Deepseek-R1 和 V3 在单(24GB 显存)/多 GPU 和 382G DRAM 上运行,速度提升可达 3~28 倍。详细演示和复现教程请参见此处。

KTransformers 是一个灵活且以 Python 为中心的框架,旨在通过高级内核优化和并行策略提升大型语言模型(LLM)的推理性能。该框架允许用户通过简单的代码注入,快速实现与 Transformers 兼容的接口、支持 OpenAI 和 Ollama 的 RESTful API,以及类似 ChatGPT 的简化网页界面。KTransformers 特别关注资源受限的本地部署场景,支持 GPU/CPU 异构计算和量化模型的优化,例如高效的 Llamafile 和 Marlin 内核。其核心设计理念是通过模板化的注入机制,简化模块替换和优化组合,帮助研究人员探索创新的 LLM 推理优化方案。KTransformers 还提供了详细的教程和示例,支持多 GPU 部署和多种先进模型(如 DeepSeek 和 Mixtral),并计划在未来版本中开源更多优化功能。该框架由清华大学 MADSys 小组和 Approaching.AI 团队积极维护,致力于成为实验前沿 LLM 推理优化的灵活平台。

提要

经调研和社区讨论,该实验方案需硬件支持以下配置:1块RTX 4090显卡+双路Xeon 6430+16通道DDR5内存(总容量512GB),通过AMX指令集实现CPU矩阵加速。方案采用"访存换计算"策略,将非密集计算层部署在CPU内存,利用16根内存条达成600GB/s带宽。但实际受限于PCIe总线性能,仅能输出10+ token/s,且整套系统功耗超1000W(CPU 500W+GPU 200W),运行温度达70-80℃。此配置属原型验证级别,存在性能瓶颈和能耗过高问题,不具备量产可行性。

2025-02-16
单片机
00
2025-02-14
工具使用
00
2025-02-14
深度学习
00

我的另一盘类似的教程:https://www.dong-blog.fun/post/1942

2025-02-14
Python
00

以下是一个简单的FastAPI应用程序示例,包含你提到的测试端口代码:

首先,确保你已经安装了 FastAPI 和 Uvicorn。如果还没有安装,可以使用 pip 进行安装:

bash
展开代码
pip install fastapi uvicorn requests
2025-02-14
Linux运维
00

我们可以按照你的要求配置 Nginx 将客户端的请求头信息及其他设置信息保持和转发。以下是详细的步骤:

  1. 创建 Nginx 配置文件:

    首先需要创建一个 Nginx 配置文件,比如 nginx.conf

    nginx
    展开代码
    events {} http { upstream backend { server 101.136.8.66:7890; } server { listen 7860; location / { proxy_pass http://backend; # 保持客户端的请求头信息 proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # HTTP 版本和连接管理 proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; # 超时设置 proxy_connect_timeout 300s; proxy_read_timeout 300s; } } }
2025-02-14
深度学习
00

模型:https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

下载模型,这样下载太慢,换个源头:

bash
展开代码
# Make sure you have git-lfs installed (https://git-lfs.com) git lfs install git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B # If you want to clone without large files - just their pointers GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B
2025-02-14
算法刷题
00

BFS解题模板(队列版)

python
展开代码
from collections import deque def bfs(起始点): # 初始化队列和访问标记 queue = deque() queue.append(起始点) visited = set() visited.add(起始点) while queue: # 弹出当前节点 node = queue.popleft() # 处理当前节点(例如记录路径、判断条件等) 处理当前节点 # 遍历相邻节点 for neighbor in 获取相邻节点(node): if neighbor 未越界 and neighbor 未访问: queue.append(neighbor) visited.add(neighbor) # 必须在此处标记已访问
2025-02-13
深度学习
00

作为现代Transformer架构中位置编码的突破性改进,旋转位置编码(Rotary Position Embedding, RoPE)通过复数域旋转算子实现了高效的位置感知计算。本文从张量操作视角深入剖析RoPE的数学本质,并给出其在工业级大语言模型中的完整实现路径。