拉达曼迪斯

「莫愁千里路，自有到来风」

LangGraph之RAG范式-Corrective RAG

1. 什么是 Corrective RAG (CRAG)？ Corrective RAG (CRAG) 是一种改进的 RAG 技术，旨在解决传统 RAG 的局限性。传统 RAG 通过从外部知识库检索相关文档来增强语言模型的生成能力，但如果检索到的文档不准确或不相关，可能会导致生成的内容出现误导或错误。CRAG 通过引入 自我反思（self-reflection） 和 自我评估（self-g...

Posted by Ramendeus on April 21, 2025

做一个Python开发者真辛苦

最近用Python做一些AiAgent的开发，感觉真的幸苦。 首先VSCode中断点没作用，网上尝试了很多方法都不行。放弃。 直接用PyCharm，心累，到处找破解版本。全是垃圾信息。 这里我给出最精简有效的破解文件和方式。仅供学习。 详细地址: https://pan.baidu.com/s/1b9uN9aL1Ov-_dQwWaA4PjQ?pwd=4eyy 提取码: 4eyy ...

Posted by Ramendeus on March 20, 2025

AI教你做视频-1 一键AI视频制作本地完整制作包免费下载

AI教你做视频-1 一键AI视频制作本地完整制作包免费下载 解锁创意新境界——免费AIGC AI视频制作资源等你体验！ 在数字化时代，视频内容已成为吸引眼球、传递信息的最佳方式之一。然而，传统的视频制作往往需要高昂的成本、复杂的设备和专业技能，让许多创作者望而却步。如今，随着AIGC（人工智能生成内容）技术的飞速发展，AI视频制作正在颠覆这一现状——更令人兴奋的是，你还可以免费获得这些强...

Posted by Ramendeus on March 20, 2025

AI教我做事之RAG开发-16 LangChain,LlamaIndex,EmbedChain等框架详细能力对比

AI教我做事之RAG开发-16 LangChain,LlamaIndex,EmbedChain等框架详细能力对比 框架社区规模开发难易度检索性能生成性能开发效率扩展能力产品化能力硬件要求框架品质LangChain大中等可变可变高高高GPU 推荐高RagFlow小低未知未知低低低GPU 推荐低HayStack中等中等高依赖集成高（搜索）高高GPU 推荐高LlamaIndex中等中等中等中等高...

Posted by Ramendeus on March 13, 2025

AI教我做事之RAG开发-14 用RAGatouille进行RAG开发

AI教我做事之RAG开发-14 用RAGatouille进行RAG开发 背景与概述 在 AI 的 RAG（检索增强生成）开发中，RAGatouille 是一个专门为简化使用先进检索方法设计的 Python 库，特别聚焦于 ColBERT（Coloring BERT）模型。ColBERT 是一种晚期交互检索模型，通过查询和文档的 token 级匹配提供高效且准确的检索，适合大规模文本集合的...

Posted by Ramendeus on March 13, 2025

AI教我做事之RAG开发-13 用链池增强处理多用户会话的性能

AI教我做事之RAG开发-13 用链池增强处理多用户会话的性能 要增强RAG中多用户会话的链缓存机制，减少内存消耗，可以考虑使用链池方式，类似于内存池或数据库连接池。以下是实现的关键步骤： 共享组件：矢量存储和语言模型（LLM）已共享，减少重复资源。 优化记忆：使用摘要记忆（ConversationSummaryMemory）替代完整历史，降低每个用户的内存占用。 限制内存...

Posted by Ramendeus on March 13, 2025

AI教我做事之RAG开发-12 处理多用户会话

AI教我做事之RAG开发-12 处理多用户会话 1 概述 在RAG（检索增强生成）中，处理多用户会话需要确保每个用户的查询历史和上下文是独立的，这样可以为每个用户提供个性化的响应。以下是实现这一目标的简单方法： 用户识别：为每个用户分配一个唯一ID，例如用户名或会话令牌。 会话管理：使用LangChain的记忆功能（如ConversationBufferMemory）为每个用...

Posted by Ramendeus on March 13, 2025

AI教我做事之RAG开发-11 如何用HayStack写代码

AI教我做事之RAG开发-11 如何用HayStack写代码 HayStack 是一个非常强大的企业级RAG解决方案。 Haystack 是一个用于构建 AI 驱动的问答系统和信息检索系统的框架。它可以帮助开发者更轻松地创建、训练和部署适用于自然语言处理(NLP)的解决方案。以下是 Haystack 的一些主要特征： 模块化设计：Haystack 的架构是模块化的，能够灵活地插入...

Posted by Ramendeus on March 12, 2025

AI教我做事之RAG开发-10 如何用LlamaIndex写代码本文主要的功能

AI教我做事之RAG开发-10 如何用LlamaIndex写代码本文主要的功能： 本文主要的功能： 完整读取本地某个目录下的文件作为数据源 用Ollama本地模型和HF的嵌入模型 进行问答功能，测试RAG的检索命中情况。测试良好。 注意点： 有些引用自行安装。甚至代码没有被直接引用到 完整代码 1 2 3 4 5 6 7 8 9 10 11 12 13 1...

Posted by Ramendeus on March 12, 2025

AI教我做事之RAG开发-4 如何处理PDF文件中的表格数据

AI教我做事之RAG开发-4 如何处理PDF文件中的表格数据 研究表明，使用 Camelot 库可以有效处理 PDF 文件中的表格数据，适合 RAG 开发。 提取表格后，将每行数据转换为带列名的字符串，便于 RAG 系统检索。 可能需要额外安装 Ghostscript，具体取决于 PDF 的复杂性。 1 提取表格的步骤 首先，确保已安装 Camelot 和 pand...

Posted by Ramendeus on March 11, 2025

AI教我做事之RAG开发-3 如何解析PDF中的图像

AI教我做事之RAG开发-3 如何解析PDF中的图像 该行为的核心是能解析PDF文件，并且其中的图片内容可以通过OCR获取到文字，进行识别和解析。 解析PDF中图像的原理 在RAG系统中，解析PDF中的图像通常涉及以下步骤： 提取图像：从PDF文件中提取嵌入的图像。 图像处理：将提取的图像转换为可分析的格式（如JPEG/PNG）。 图像内容分析：使用OCR（光学字符识别...

Posted by Ramendeus on March 11, 2025

AI教我做事之RAG开发-2 开发一个Restful接口

AI教我做事之RAG开发-2 开发一个Restful接口 这次的课程就高级了。 我们将之前的RAG内容内聚成一个服务，希望外部以一个API接口的形式调用。 因此，我们需要内置一个web服务器，python下迅速搞定 1 全部代码如下 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 2...

Posted by Ramendeus on March 11, 2025

AI教我做事之RAG开发-1 最简单的例子

概要 RAG，通过一种外挂信息的方式，补充LLM的能力。通常在每一个行业，都有专属的一些特殊名词或者解释，此时我们需要将这些文档，图像，数据等资料通过RAG的方式嵌入到LLM中，以便于我们在查询，聊天，或者AIAgent开发的时候用这些专属内容代替LLM的通用内容，使得最终的结果更加准确。 因为LLM具备幻觉和毒性，出来的结果内容并非确保一定的准确性，但是通过RAG，可以大幅解决...

Posted by Ramendeus on March 10, 2025

白泽修图 – 免费的企业级图片处理平台

白泽修图 – 免费的企业级图片处理平台 现在的AIGC让世界范围内的图文，视频操作都比以往任何时刻都更加方便。 而网络上的各种美颜，滤镜更是让每一个人都看到真实世界中虚拟美好的自己。在企业级的应用中，我们也经常会需要针对一些图片进行处理，特此我们推出了白泽修图平台，提供一些常用的功能给到用户。 此次推出，去背景和去水印的功能。均是免费，欢迎畅游。 地址: https://baize....

Posted by Ramendeus on February 27, 2025

主流显卡性能参数一览A100,4090,3090,H800

主流显卡性能参数一览A100,4090,3090,H800   显卡类型 显存容量 显存带宽 Tensor BF16/FP16/FP32 性能 FP16/FP32性能 功耗 发布日期 1 NVIDIA GeForce RT...

Posted by Ramendeus on February 26, 2025

马斯克放大招-Grok3 模型性能表现碾压Deepseek

马斯克放大招-Grok3 模型性能表现碾压Deepseek 2025年2月18日，马斯克旗下公司发布Grok3模型。号称性能全面碾压DeekSeek 在线试用地址： https://lmarena.ai 平均分： 78.75 .太强了 （对比下，之前最强的Phi4是75分，Deepseek是70分） 模型HF下载地址：https://huggingface.co/Intellige...

Posted by Ramendeus on February 21, 2025

辣妈之野望 8 — DeepSeek-r1和Deepseek-v3使用对比

辣妈之野望 8 — DeepSeek-r1和Deepseek-v3使用对比 之前我们其实在对比分析所有的Ollama框架中使用的各种大模型的能力时，有简单用过Deepseek-r1 的模型。 考虑到v3版本的能力貌似更强大，我们来进行下对比。 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 先上总结： r1 在某些内容表现比v3 好。 在代码能...

Posted by Ramendeus on February 11, 2025

辣妈之野望 7 — Open-WebUI中文白皮书

最新的AI框架Ollama配合使用最新的Open-WebUI 界面框架是最好的本地部署大模型方式。之前我们也介绍过使用webui-lite版本，参考文档：辣妈之野望 1 — 部署个人大模型框架 本文开始，我们介绍最新的完整版本的Open WebUI 框架。本文主要介绍该框架的白皮书。包含了核心的设计思路，值得开发者学习。英文原版链接：https://openwebui.com/assets...

Posted by Ramendeus on February 10, 2025

辣妈之野望 4 -- DeepSeek-r1模型的个人感受

之前我们其实在对比分析所有的Ollama框架中使用的各种大模型的能力时，有简单用过Deepseek-r1 的模型。 当时觉得一般。可能没有展示更多的内容。本文展示更多使用的结果。并一并分析下 Deepseek官方开源地址： Github地址：https://github.com/deepseek-ai/DeepSeek-R1?tab=readme-ov-file 个人技术博客： fu...

Posted by Ramendeus on February 9, 2025

辣妈之野望 3 — Ollama各大模型全方位对比1

概要 首先，什么是Ollama Ollama 是一个用于构建和运行自定义 AI 模型的平台。它允许开发者和企业使用自己的数据来训练专门的 AI 模型，并且提供了一些工具，使得在不同应用场景中能够部署这些模型。Ollama 的目标是让用户能够更容易地创建和管理自己的人工智能应用，同时提供高效的计算资源和易于使用的接口。 它也支持与开源模型兼容，让开发者能在本地环境中运行和定制 GPT 类...

Posted by Ramendeus on February 9, 2025

辣妈之野望 2 –Ollama配置技巧

辣妈之野望 2 –Ollama配置技巧 在0.1.13 之后的版本Ollama支持用户访问多并发和模型加载多并发。 这可以让我们不需要排队。当然如果在同一台机器上运行，虽然不排队，但是并行计算所要求的GPU处理能力和显存要求还是一个总和。分布式就没这个问题。 当然个人用户可以简单用用，也是不错。 更多技术资讯下载: 2img.ai 相关配图由微信小程序【字形绘梦】免费生成 第...

Posted by Ramendeus on February 8, 2025

辣妈之野望 1 -- 部署个人大模型框架

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 辣妈之野望 1 – 部署个人大模型框架 我们知道Ollama是开源大模型框架。本文，我们就来部署一个自己的本地大模型+精简的UI访问框架，实现本地的GPT体系。 先来看看最终的产品界面 安...

Posted by Ramendeus on February 7, 2025

如何用FFMPEG给视频加水印

FFMPEG非常强大，加水印真的方便 执行ffmpeg命令时，请确环境变量或者当前环境可以直接调用ffmpeg.exe 这个命令 我个人的做法是将FFMPEG的可执行文件放到一个目录下，将该目录添加到系统环境变量中。这样可以随时随地调用。 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 1 最简...

Posted by Ramendeus on February 6, 2025

C#中如何用IP2Region获取IP地址对应的位置

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 最近需要用到根据IP地址，查询对应的城市位置。找了一些网页资料，结果很差，尤其是CSDN，不仅文章内容质量低下，浪费了很多时间，代码不可用。而且还各种限制。所以本文更新使用方法后，也不会在CSDN上...

Posted by Ramendeus on January 22, 2025

一张照片如何生成简易数字人视频 – 喂饭教程

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 一张照片如何生成简易数字人视频 – 喂饭教程 微信小程序【字形绘梦】最新的【绘声】功能，支持用户上传一张图片自动化生成简单数字人视频。 先来看效果 其实界面有点复杂性，所以让我来写个简易教程 ...

Posted by Ramendeus on January 20, 2025

字形绘梦之听声绘梦 产品创业之亢龙无悔

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 总览 【字形绘梦】是最近我们创业的一款AIGC微信小程序产品，主要着力于利用AI的能力，赋能自媒体博主，流量明星，个人使用者等，以图文并茂的AIGC内容和各种形态的数字人能力，让每一个人都可以享受...

Posted by Ramendeus on January 15, 2025

重新起航-数据库管理一体化工具SylATAD

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 背景介绍 2006年的时候加入了一家美国公司在上海设立的研发中心。负责一款windows的图形图像处理软件。这期间用到了Sql Server Compact Edition这个文件型的数据库。因为当时...

Posted by Ramendeus on January 13, 2025

StableDiffusion中的VAE是什么，有什么用

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 1）VAE 简介 VAE 全称 Variational Auto Encoder （变分自编码器），是 stable diffusion 整个模型算法的组成部分之一，位于运作流程的末端，作用是让 s...

Posted by Ramendeus on January 10, 2025

如何将微信的语音导出到电脑的Mp3等格式

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 本文目的： 将微信中的语音保存到本地的Mp3文件等格式。 需要内容： 需要微信中简单处理下 需要PC上安装微信电脑版本，然后登录微信。 准备2个小工具，处理格式问题。 主要步骤 ...

Posted by Ramendeus on January 9, 2025

AIGC产品数字人 –【字形绘梦】之绘声

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 最近开始发一些AIGC相关的学习博客，期间用到的一款免费图文生成微信小程序【字形绘梦】还是不错。关键是免费。最近貌似它们新增了一个语音还是视频的能力叫【绘声】，简单的试用之后觉得还行，给大家分享下。...

Posted by Ramendeus on January 8, 2025

[硬核] 扩散模型训练和微调的高级参数讲解

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 介绍 本文将尽量通俗地介绍扩散模型训练中，高级训练参数的原理和效果。本文为笔记性质的文章，旨在与读者一同学习，并帮助读者对这些拗口名字的参数有基本的认识。本文不会涉及任何复杂的数学推理，对数学...

Posted by Ramendeus on January 6, 2025

关于Github.io上博客图片消失的坑

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 最近开始启用Github.io上的博客功能，非常棒。 不过偶然遇到一个图片消失的坑。特此记录，方便大家避坑。 我们知道在windows上是大小写不敏感的。因此提交到Git中的图片文件，扩展名无论是p...

Posted by Ramendeus on January 5, 2025

Debian下安装XRDP服务

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 1 什么是RDP 什么是远程桌面协议（RDP）？ 远程桌面协议 (RDP) 指的是用于远程使用桌面计算机的协议或技术标准。远程桌面软件可以使用几种不同的协议，如 RDP、独立计算架构 (ICA) 和...

Posted by Ramendeus on October 15, 2024

AI视频领域组件评价 -- 4星能力

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 最近AI生成视频的能力真是每天都越来越多，心里感觉始终追不上高速发展的AIGC势头。 本文尝试分享尽可能详细的内容，每个都是笔者亲自分析的，如有任何错误之处，请随时联系作者。 本文中的截图或者说配图...

Posted by Ramendeus on October 14, 2024

WSL下如何在Docker下部署个人知识库AnythingLLM

访问 2img.ai 官网以获取更多AI/AIGC信息 最近发现使用WSL非常方便。不仅可以不用实体机器安装Linux，同时也可以避免额外的浪费空间。因此打算部署一个局域网内的个人知识库体系，这样就可以建立一个强大的知识和大模型体系，真正用到AI的能力。 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 ...

Posted by Ramendeus on October 13, 2024

字形绘梦 之 增强场景

访问 2img.ai 官网以获取更多AI/AIGC信息 字形绘梦自2.2版本正式发布之后，吸引了一批有趣的爱好者。当我们看到有不断的新增用户在使用我们的产品，感到无比的自豪。在近期，我们新增了一批有趣的场景，帮助更多的用户体验到更好的作品效果。 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 作品效...

Posted by Ramendeus on October 12, 2024

GPT菜花宝典之原理大分析

访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 什麽是GPT ChatGPT 是基于 OpenAI 的 GPT（Generative Pre-trained Transformer）架构构建的。它是一种深度学习模型，专门用于自然语言处理任务。 本文截止的最新GPT版本是GPT-4o，其中的“o”代表“o...

Posted by Ramendeus on October 11, 2024

字形绘梦，免费的插图生成器

在创作的浩瀚海洋中，你是否常常为如何让自己的作品脱颖而出而绞尽脑汁？是否渴望找到一把神奇的钥匙，开启流量大门，走向成功的彼岸？ 作品效果展示 今天，我们就为大家带来一份超级惊喜 —— 《字形绘梦》 欢迎大家扫码体验！ 《字形绘梦》是一款以最前沿AI生成技术为核心的AI创作平台。由Ramendeus Studio公司研发。 通过深度学习和智能算法，不仅能生成逼真的人物肖像，...

Posted by Ramendeus on October 10, 2024

第五十七章 VDI领域的应用

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第五十七章 VDI领域的应用 从产品需求侧讲，一个VDI的产品具备如下的一些主要特性。 移动设备支持终端管理数量限制文件传输远程重启远程打印局域网唤醒客户端自定义别名定制品牌RestfulAPI...

Posted by Ramendeus on June 22, 2024

第五十六章 数据通道的7种创意用途

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第五十六章 数据通道的7种创意用途 以下是供应商在数据通道方面正在采用或谈论的 7 种不同用途： 1.文件共享 第一个明显的选项是在两个浏览器之间共享文件的能力，无需服务器。 可以将其视为对...

Posted by Ramendeus on June 21, 2024

第五十五章 云游戏方向

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 今天我们来看下基于流式基础的商业化产品的各种情况。 Google Stadia 的崛起与（可预见的）衰落 Google Stadia 最初是谷歌内部的 Project Stream。 从技...

Posted by Ramendeus on June 20, 2024

第五十三章 流式系统质量评价体系和一些标准建议

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第五十三章 流式系统质量评价体系和一些标准建议 目前行业的现状 从目前整个业界来看，没有一个统一的质量评价体系标准。 虽然各大公司，在多媒体方向有众多的布局，甚至像华为这种公司不断的推出业界的...

Posted by Ramendeus on June 19, 2024

第五十二章 从源代码的角度分析视频采集架构和流程

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 流式系统的实时音视频会议中对于视频处理流水，第一级就是视频采集，视频内容可以摄像头、屏幕和视频文件，视频来源的操作系统可以是Linux、Windows、Mac，IOS以及Android，不同的平台由...

Posted by Ramendeus on June 18, 2024

第五十章 视频编码后修改帧数据

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 基本概念 给视频添加滤镜的方法，是在视频帧被编码前对其进行处理。有时我们还需要在视频帧被编码后对其进行处理，插入一些自定义数据，比如插入 H.264 定义的 SEI（Supplemental En...

Posted by Ramendeus on June 17, 2024

第四十九章 添加滤镜能力

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第四十九章 添加滤镜能力 添加滤镜后端做法 由于需要实时预览滤镜效果，所以必须在渲染开始之前添加滤镜。好在 WebRTC 已经提供了 VideoProcessor 这个接口类，可以对采集到的帧数...

Posted by Ramendeus on June 16, 2024

第四十八章 智能指针

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 智能指针是现代 C++ 编程中一个绕不开的话题，WebRTC 也有一套使用智能指针的指南。鉴于 WebRTC 属于 Chromium 的一部分，所以这其实也是 Chromium 使用智能指针的指南。...

Posted by Ramendeus on June 15, 2024

第四十七章 视频帧概念

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 基础概念认知 在排查 WebRTC 丢包问题时，我们会接触到一些视频帧相关的名词，如 GOP、I-帧、P-帧、B-帧等。如果是之前对视频编解码不是特别了解的同学（比如笔者）可能会有些疑惑。因此本文...

Posted by Ramendeus on June 14, 2024

第四十五章 P2P打洞原理

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第四十五章 P2P打洞原理 WebRTC 本身是基于点对点（Peer-to-Peer）连接的。如果连接双方都是公网地址，则可以直接访问到对方，从而建立连接。但大部分情况下其中一方或者双方都不是公网...

Posted by Ramendeus on June 13, 2024

第四十四章 带宽估计和拥塞控制算法

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 产品角度看数据 下图是Google Stadia 针对4K保持60Fps情况下的带宽估计。 和我们QL之前的4K数据测试是一致的。 4K的带宽占用在10~35Mb区间内 延时表现 从...

Posted by Ramendeus on June 12, 2024

第四十三章 RTSP媒体流的录制方案

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 实时录制功能支持三种模式，分别是云端录制、本地服务端录制和页面录制，我们的流式系统也有对应的内容。这里从录制视频格式的调研、录制方案的选择、异常状况的处理、覆盖策略的执行四个大方面进行介绍。 ...

Posted by Ramendeus on June 11, 2024

第四十二章 码率控制

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 基本概念 码率控制是指视频编码中决定输出码率的过程。 首先介绍一下 X264 中使用到的与码率控制相关的几个概念： CQP(Constant QP) 恒 定QP（Quantization Pa...

Posted by Ramendeus on June 10, 2024

第四十一章 发送方码率预估揭秘

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 WebRTC使用的是Google Congestion Control (简称GCC)拥塞控制，目前有两种实现： 旧的实现是接收方根据收到的音视频RTP报文, 预估码率，并使用REMB RT...

Posted by Ramendeus on June 9, 2024

第四十章 生成QTCreator项目进行编译

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第四十章 生成QTCreator项目进行编译 基础情况 一般的，我们可以使用VSCode在Linux下进行编译，调试和运行。 不过我们有时候倾向于需要强大的UI库，此时我们需要用到Qt这个开源...

Posted by Ramendeus on June 8, 2024

第三十九章 Linux下编译的一些注意事项

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第三十九章 Linux下编译的一些注意事项 如何抽取头文件作为SDK 很多情况下我们编译完成WebRTC后，需要直接将Lib和头文件以一种比较好的目录结构形式给外部程序调用，而默认的WebRTC...

Posted by Ramendeus on June 7, 2024

第三十八章 Ubuntu或Debian下的情况

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第三十八章 Ubuntu或Debian下的情况 Ubuntu情况 在Ubuntu下是肯定可以安装的。网上资料很多不多赘述。 Debian下情况 以下是在Debian系统上的编译步骤。M90下...

Posted by Ramendeus on June 6, 2024

第三十七章 CentOS下的情况

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第三十六章 信令服务器开源方案和部署 目前主流的TURN开源方案是Coturn，官方地址https://github.com/coturn/coturn coturn 是 TURN 和 STUN...

Posted by Ramendeus on June 5, 2024

第三十六章 信令服务器开源方案和部署

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第三十六章 信令服务器开源方案和部署 目前主流的TURN开源方案是Coturn，官方地址https://github.com/coturn/coturn coturn 是 TURN 和 STUN...

Posted by Ramendeus on June 4, 2024

第三十四章 信令服务器基础知识

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第三十四章 信令服务器基础知识 信令服务器基础概念 两个设备之间建立 WebRTC 连接需要一个信令服务器来实现双方通过网络进行连接。信令服务器的作用是作为一个中间人帮助双方在尽可能少的暴露隐私...

Posted by Ramendeus on June 3, 2024

第三十三章 后端的鼠标键盘等事件实现

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 基础情况 在流式系统中，大部分的情况，数据源是从后端准备好后推送到前端的，此时大部分的情形是前端被动的显示后端流化传过来的内容。有一些场景，在前端需要接受用户的操作，从而影响后端的数据内容和表现，此...

Posted by Ramendeus on June 2, 2024

第三十二章 实际使用数据通道

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 基础建立DataChannel的步骤 DescriptionDetail1SingalConnection类中创建DataChannelPeerConnection Create DataChann...

Posted by Ramendeus on June 1, 2024

第三十一章 视频内容检测和分析手段

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 当我们完成整体的流转后，需要检测其中的每帧数据时，需要用到一些工具检测和API获取。以下我们来介绍2个方法。 内置性能测试工具webrtc-internals 针对云渲染产品进行性能测试，除过一...

Posted by Ramendeus on May 31, 2024

第二十九章 硬件编码/解码

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 基础知识 我们在基础知识中了解了什么编码和解码，那么之前的行为都是CPU在处理，我们称之为软编码，软解码。 这里我们借用GPU的能力，借用它上面的视频编码解码芯片，直接从硬件层面进行对应的操作，...

Posted by Ramendeus on May 29, 2024

第二十八章 各种编码器介绍和比较

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 H.264/MPEG-4 AVC H.264/MPEG-4 , 或称AVC（Advanced Video Coding，高级视频编码），是一种视频压缩标准，一种被广泛使用的高精度视频的录制、压缩和...

Posted by Ramendeus on May 28, 2024

第二十七章 视频推流细节

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 什么是推流？ 推流，指的是把采集阶段封包好的内容传输到服务器的过程。其实就是将现场的视频信号传到网络的过程。“推流”对网络要求比较高，如果网络不稳定，直播效果就会很差，观众观看直播时就会发生卡顿等...

Posted by Ramendeus on May 27, 2024

第二十六章 视频轨道和视频捕捉器

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 视频轨道添加 在建立完成P2P连接后，我们最主要的一步内容是增加视频通道，这可能是整个环节中最重要的内容了。很多问题都是关于视频流内容和画面的内容。 在WebRTC中默认提供2种视频源捕获器。分...

Posted by Ramendeus on May 26, 2024

第二十五章 消息数据传递机制

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第二十五章 消息数据传递机制 消息机制 在建立P2P连接之后，前后端，信令等都要进行一定的行为交互，每个行为一般的我们会指定一个指令ID或者字符串，然后跟随对应的数据内容。 心跳机制，就是其中一...

Posted by Ramendeus on May 25, 2024

第二十四章 心跳机制

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第二十四章 心跳机制 什么是心跳机制 心跳是为了确保前端后端，相互知道对方是否还存活着，定期发送一定的数据到对方那边。一般心跳的频率不会太高，太高会影响服务器性能。但是也不能太低，太低了，中间间...

Posted by Ramendeus on May 24, 2024

第二十三章 建立P2P 连接

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 什么是P2P连接 PeerConnection 是 WebRTC 连接流程中无法绕过的一个类，甚至可以认为这个类是整个连接流程的 Controller。当2个用户分别在2端试图连接对方的时候，首先...

Posted by Ramendeus on May 23, 2024

第二十二章 编译WebRTC框架

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 源代码地址： https://webrtc.googlesource.com/src.git 1 前置要求 系统环境变量PATH中设置，Depot_tools指向webrtc同目录下的D...

Posted by Ramendeus on May 22, 2024

第二十一章 实战青龙流式系统问题总结

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第二十一章 实战青龙流式系统问题总结 我们在实际的开发过程会遇到很多的问题，这里总结和归纳，可以帮助各位 流式协议带来的限制 媒体流属性的随机化处理 RTC 协议要求接收方在接收到媒体...

Posted by Ramendeus on May 21, 2024

第二十章 前端引擎库比较

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 我们了解各个主要的API，但是实际开发中，我们还会遇到不少问题，我们也可以考虑使用其他封装库模，提升开发效率，下面我们了解几个开源库。 Adapter.js 是一个开源项目，由WebRTC团队维...

Posted by Ramendeus on May 20, 2024

第十九章 如何高效和业务系统交互

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 我们现在重新来讨论青龙流式系统信令服务和业务之间关系。 信令简介 信令：驱动系统运转。控制各个模块的前后调用关系;业务不同，逻辑不同，信令也会千差万别 我们假设在一对一通信的场景下： 要实现...

Posted by Ramendeus on May 19, 2024

第十八章 数据通道实时数据传输

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第十八章 数据通道实时数据传输 我们青龙流式系统的数据通道RTCDataChannel是专门用来传输除音视频数据之外的任何数据的，如短消息、实时文字聊天、文件传输、远程桌面、游戏控制、P2P加速等...

Posted by Ramendeus on May 18, 2024

第十七章 实现多通道音视频数据流支持

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 在上面的文章里，我们知道视频和媒体如何使用，但是在实际的研发过程中，我们还会针对多个轨道的情况。 主要过程 创建createOffer A为呼叫方，在此阶段，将音视频流加入RTCPee...

Posted by Ramendeus on May 17, 2024

第十六章 Web前端中鼠标键盘等事件处理

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第十六章 Web前端中鼠标键盘等事件处理 在类似远程桌面控制等场景下，我们的流式系统还需要处理键盘和鼠标的输入。 主要流程 1.增加键盘 鼠标监听回调dom对象的事件回调 2.如果需要和后端...

Posted by Ramendeus on May 16, 2024

第十五章 音频和视频媒体的支持

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 媒体流（MediaStream） 媒体流（MediaStream）是一个重要概念，它代表着音频和视频数据的流。媒体流可以包含一个或多个音频轨道（AudioTrack）和视频轨道（VideoTrac...

Posted by Ramendeus on May 15, 2024

第十四章 Web端常用的API

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 本文将详细解析青龙流式系统的三大API：MediaStream、RTCPeerConnection和RTCDataChannel，帮助读者理解并应用这些技术。 MediaStream Media...

Posted by Ramendeus on May 14, 2024

第十三章 会话流程和信令通讯

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 本文介绍主要青龙流式系统的会话协议和流程 构建WebRTC需要的协议 ICE ICE全称Interactive Connectivity Establishment ，是一种交互式连接框...

Posted by Ramendeus on May 13, 2024

第十二章 浏览器中流式标准的演化史

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 WebRTC是标准，协议和JavaScript API的集合，两者的组合可实现浏览器（对等）之间的对等音频，视频和数据共享。无需依赖第三方插件或专有软件，而是将实时通信转变为任何Web应用程序都可以...

Posted by Ramendeus on May 12, 2024

第九章 RTP/RTCP协议

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 WebRTC 使用 RTP 协议传输音视频，也依赖于 RTP 协议提供的信息处理丢包。本文尝试结合 RFC 3350 对 RTP 协议做一个较为简洁的介绍，方便大家查阅。 RTP（Real-tim...

Posted by Ramendeus on May 9, 2024

第七章 DataChannel数据通道

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 作为WebRTC的三大模块之一，DataChannel支持短消息（short message）二进制和文本数据的传输，因此，对于通常以传输音视频为主的WebRTC来说，当需要传输音视频以外的数据的时...

Posted by Ramendeus on May 7, 2024

第六章 ICE概念

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 基础概念 ICE（交互式连接建立）是 WebRTC（与其他技术一起）用于连接两个对等端的框架，不受网络拓扑结构的限制（通常用于视频或语音聊天）。这个协议让两端能够互相找到对方并建立一个连接，即便它...

Posted by Ramendeus on May 6, 2024

第五章 编码器/解码器

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 视频编码基础知识 什么是视频编码？ 视频编码是压缩和可能改变视频内容格式的过程，有时甚至将模拟源改为数字源。关于压缩，目标是使其消耗更少的空间。这是因为这是一个有损的过程，会丢掉与视频相关的信息...

Posted by Ramendeus on May 5, 2024

第四章 码率，分辨率，帧率

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第四章 码率，分辨率，帧率 分辨率， 指图像占用屏幕上像素的多少。图像中的像素密度越 高，图像的分辨率越高。对于实时通信而言，图像默认分辨率一般设 置为640×480或640×360，如果分辨率...

Posted by Ramendeus on May 4, 2024

第三章 流式流转时序图

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第三章 流式流转时序图 整体时序介绍 流程如下所示。 1.连接双方（Peer）通过第三方服务器来交换（Signaling）各自的SessionDescription数据。 2.连接双方（Pee...

Posted by Ramendeus on May 3, 2024

第二章 流式整体架构

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 第二章 流式整体架构 整体框架图 企业内部署整体示意图 整体组件的构成和发展 硬件环境 设备参数要求CPUIntel i7 6代以上RAM8G以上，推荐16GGPUNVIDIA...

Posted by Ramendeus on May 2, 2024

第一章 WebRTC基础框架介绍

访问 2img.ai 官网以获取更多AI/AIGC信息 访问 个人技术博客: fuqifai.github.io 本文大部分配图使用微信小程序【字形绘梦】免费生成。 AIGC技术讨论群 什么是WebRTC WebRTC（Web Real-Time Communication——网页实时通信）是一个基于浏览器的实时多媒体通信技术。该项技术旨在使Web浏览器具备实时通信能力；同时，通...

Posted by Ramendeus on May 1, 2024

Template

访问 2img.ai 官网以获取更多AI/AIGC信息 本文大部分配图使用微信小程序【字形绘梦】免费生成。 fuqifai.github.io

Posted by Ramendeus on May 1, 2024

FEATURED TAGS
流式 Streaming WebRTC RAG AI教我做事 AI Agent Grok LLM AIGC Ollama 字形绘梦 微信小程序 GPT WebUI Lite 个人大模型 Deepseek HayStack 绘声 C# LlamaIndex SD
ABOUT ME

做一家小而美的软件研发公司,有兴趣请访问 https://2img.ai

FRIENDS