https://arxiv.org/abs/2412.04431

https://arxiv.org/abs/2410.13863

摘要

论文研究了文本生成图像背景下的缩放问题，主要关注两个关键因素：模型使用离散还是连续的标记，以及标记是以随机顺序还是固定光栅顺序生成，使用的是类似于BERT还是GPT的转换器架构。

基于连续标记的模型相比于使用离散标记的模型，在视觉质量上显著更佳。

此外，生成顺序和注意力机制显著影响GenEval分数：随机顺序模型相比于光栅顺序模型获得了显著更好的GenEval分数。

受这些发现的启发，我们训练了Fluid，一个基于连续标记的随机顺序自回归模型。

Fluid 10.5B模型在MS-COCO 30K数据集上实现了新的零样本FID的最先进成绩6.16，并在GenEval基准测试中获得了0.69的总分。

我们希望我们的发现和结果能够鼓励未来的研究工作进一步弥合视觉和语言模型之间的扩展差距。

Git代理设置与取消指南

作为开发者，我们常遇到企业内网或特殊网络环境下无法直接访问Git仓库的情况。本教程将详细介绍如何为Git设置代理（Proxy）以及如何取消代理配置，并提供常见问题排查方法。

项目介绍

https://github.com/kvcache-ai/ktransformers

GitHub - kvcache-ai/ktransformers: A Flexible Framework for Experiencing Cutting-edge LLM Inference

2025 年 2 月 10 日：支持 Deepseek-R1 和 V3 在单（24GB 显存）/多 GPU 和 382G DRAM 上运行，速度提升可达 3~28 倍。详细演示和复现教程请参见此处。

KTransformers 是一个灵活且以 Python 为中心的框架，旨在通过高级内核优化和并行策略提升大型语言模型（LLM）的推理性能。该框架允许用户通过简单的代码注入，快速实现与 Transformers 兼容的接口、支持 OpenAI 和 Ollama 的 RESTful API，以及类似 ChatGPT 的简化网页界面。KTransformers 特别关注资源受限的本地部署场景，支持 GPU/CPU 异构计算和量化模型的优化，例如高效的 Llamafile 和 Marlin 内核。其核心设计理念是通过模板化的注入机制，简化模块替换和优化组合，帮助研究人员探索创新的 LLM 推理优化方案。KTransformers 还提供了详细的教程和示例，支持多 GPU 部署和多种先进模型（如 DeepSeek 和 Mixtral），并计划在未来版本中开源更多优化功能。该框架由清华大学 MADSys 小组和 Approaching.AI 团队积极维护，致力于成为实验前沿 LLM 推理优化的灵活平台。

提要

经调研和社区讨论，该实验方案需硬件支持以下配置：1块RTX 4090显卡+双路Xeon 6430+16通道DDR5内存（总容量512GB），通过AMX指令集实现CPU矩阵加速。方案采用"访存换计算"策略，将非密集计算层部署在CPU内存，利用16根内存条达成600GB/s带宽。但实际受限于PCIe总线性能，仅能输出10+ token/s，且整套系统功耗超1000W（CPU 500W+GPU 200W），运行温度达70-80℃。此配置属原型验证级别，存在性能瓶颈和能耗过高问题，不具备量产可行性。

https://blog.csdn.net/lzxiaotu/article/details/119380425

这个插件：

https://chromewebstore.google.com/detail/%E6%B2%89%E6%B5%B8%E5%BC%8F%E7%BF%BB%E8%AF%91-%E7%BD%91%E9%A1%B5%E7%BF%BB%E8%AF%91%E6%8F%92%E4%BB%B6-pdf%E7%BF%BB%E8%AF%91-%E5%85%8D%E8%B4%B9/bpoadfkcbjbfhfodiogcnhhhpibjhbnh

我的另一盘类似的教程：https://www.dong-blog.fun/post/1942

以下是一个简单的FastAPI应用程序示例，包含你提到的测试端口代码：

首先，确保你已经安装了 FastAPI 和 Uvicorn。如果还没有安装，可以使用 pip 进行安装：

bash
展开代码
pip install fastapi uvicorn requests

我们可以按照你的要求配置 Nginx 将客户端的请求头信息及其他设置信息保持和转发。以下是详细的步骤：

1. 创建 Nginx 配置文件:

   首先需要创建一个 Nginx 配置文件，比如 nginx.conf：

   nginx
   展开代码
   events {}
   
   http {
       upstream backend {
           server 101.136.8.66:7890;
       }
   
       server {
           listen 7860;
   
           location / {
               proxy_pass http://backend;
   
               # 保持客户端的请求头信息
               proxy_set_header Host $host;
               proxy_set_header X-Real-IP $remote_addr;
               proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
               proxy_set_header X-Forwarded-Proto $scheme;
   
               # HTTP 版本和连接管理
               proxy_http_version 1.1;
               proxy_set_header Upgrade $http_upgrade;
               proxy_set_header Connection "upgrade";
   
               # 超时设置
               proxy_connect_timeout 300s;
               proxy_read_timeout 300s;
           }
       }
   }
   

模型：https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

下载模型，这样下载太慢，换个源头：

bash
展开代码
# Make sure you have git-lfs installed (https://git-lfs.com)
git lfs install

git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

# If you want to clone without large files - just their pointers
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-32B

BFS解题模板（队列版）

python
展开代码
from collections import deque

def bfs(起始点):
    # 初始化队列和访问标记
    queue = deque()
    queue.append(起始点)
    visited = set()
    visited.add(起始点)
    
    while queue:
        # 弹出当前节点
        node = queue.popleft()
        
        # 处理当前节点（例如记录路径、判断条件等）
        处理当前节点
        
        # 遍历相邻节点
        for neighbor in 获取相邻节点(node):
            if neighbor 未越界 and neighbor 未访问:
                queue.append(neighbor)
                visited.add(neighbor)  # 必须在此处标记已访问

作为现代Transformer架构中位置编码的突破性改进，旋转位置编码（Rotary Position Embedding, RoPE）通过复数域旋转算子实现了高效的位置感知计算。本文从张量操作视角深入剖析RoPE的数学本质，并给出其在工业级大语言模型中的完整实现路径。

该文章已加密，点击 阅读全文 并输入密码后方可查看。

DFS解题模板（递归版）

python
展开代码
def dfs(参数):
    # 终止条件（越界、已访问、不符合条件）
    if 终止条件:
        return
    
    # 处理当前节点（标记已访问、记录路径等）
    处理当前节点
    
    # 递归访问相邻节点（四个方向、子节点等）
    for 方向 in 所有可能的方向:
        dfs(新参数)  # 递归
    
    # 回溯（如果需要恢复状态，如全排列问题）
    # 例如：撤销访问标记、弹出当前节点等

API调用

登录这里： https://console.volcengine.com/ark/region:ark+cn-beijing/endpoint?config=%7B%7D

注册后，创建DeepSeek R1 API接入点：

安装 Docker Compose 可以通过几种方式进行，最常见的是通过下载官方提供的二进制文件或者使用包管理器安装。以下是两种主要的方法：

在 Ubuntu 22.04 上安装 Docker 是一个相对简单的过程。以下是步骤：

1. 更新系统包

首先，确保系统包信息是最新的：

bash
展开代码
sudo apt update
sudo apt upgrade -y

本文作为这篇文章的总结：

https://mp.weixin.qq.com/s/-rXYgsu_1IEpjGvSQArPJQ