往时几个月，我直在捣饱读LLM代理，特别是用在舛讹研究上。
它们在浏览大型代码库、解释目生子系统、探索潜在报复面面，瓦解越来越惊艳。但旦拜访合手续几个小时，我总会撞上同个问题：模子会冉冉搞不清咱们到底细则了什么。
它可能会建议个咱们早就摈斥的案，健忘某个假定已被翻，或者自信地从个不再成立的不雅察链接理。显著，告诉LLM某件事错了，并不代表它会住手驯服系数依赖这件事的论断，对吧 :)
我初研究驰念系统，是因为想让LLM在复杂舛讹研究中有用，减少这类幻觉。
虽然，市面上已有不少给LLM加驰念的案。时时是把旧对话或不雅察存起来，作念镶嵌，然后在模子需要时检索筹谋的片断。
这果还行，但总以为那里分歧劲。
在舛讹研究进程中，我不单想让模子记着咱们说过什么。
我但愿它治愈好咱们现时已知的事实。
设想下，拜访中咱们确立了以下事实：
由此，咱们可能得出论断：报复者能为止个内查对象。
无为驰念系统能存下系数这些不雅察，并在咱们问起舛讹可欺诈时再行检索。LLM会再出相似的论断。
但假定两小时后，咱们在LLDB中发现object_a其实不指向object_b，之前的不雅察基于个作假假定。
这时，咱们的驰念里可能存着肖似这么的内容：
当今，咱们检索其中部分驰念，但愿LLM能正确判断哪些论断仍然有。
这让我以为有点眼熟。
这看起来就像标准分析。
我往往干的许多活儿，齐波及标准分析。
分析标准时，咱们时时有堆对于标准的事实，以及些轨则，能从这些事实出多事实。
咱们不错界说条文定：如果个函数调用另个函数，尔后者又能到达三个函数，那么个函数也能到达三个函数。
终，咱们计较出个不动点，包含咱们能从标准中出的系数信息。紧迫的是，如果某个输入事实发生变化，有许多技艺不错只新受影响的收尾，而不是重新再走运行系数计较。
这恰是我在舛讹研究中对LLM所生机的。
如果某个不雅察收尾变了，我不但愿模子从对话纪录中重建通盘拜访进程，并但愿它能注释到所灵验率。我但愿受影响的论断能自动失。
从这个角度看问题，我来源想考：为什么咱们要让LLM遍又随地重建它的通盘状况？
于是，我不知何如就为LLM写了个Datalog引擎 :)
在链接之前，有要简便解释下Datalog到底是什么。
Datalog是种声明式逻辑编程言语。咱们不写指示来形容怎样计较某件事，而是形容事实和轨则，从这些事实和轨则中不错出新的事实。
举例，咱们不错存储以下事实：
然后界说以下轨则：
根据现存事实，引擎不错出：
目下还莫得什么特别令东谈主开心的。
然而，假定咱们自后发现：
如果controls_kernel_object(attacker)是从阿谁事实出来的，咱们就的确知谈哪个论断依赖于刚变嫌的不雅察收尾，况兼不错自动使其失。
这比把系数旧信息塞进教唆词，然后但愿LLM能注释到相似的事情要好得多。
基本想法是，LLM不定讲求治愈我方的常识。相背，我把问题分红两部分。
LLM处理拖沓部分：
Lemmalog处理细则部分：
这意味着LLM仍然讲求相识当然言语、源代码、调试器输出，以及拜访进程中出现的系数其他参差信息。
LLM正值在这面很擅长。
但旦这些信息被转化成结构化事实，咱们就不再需要模子反复细则所灵验率了。数据库不错代劳。
我遭遇的个道理问题之是删除事实。
向Datalog数据库添加事实相对简便：添加新事实，然后评估任何可能产生额外收尾的轨则。
删除某些东西则有点发奋。
这里c为真有两个立的原因。
如果咱们移除 a，弗成简便地移除 c，因为 b 仍然为它提供了另条旅途。然而，如果咱们同期移除 a 和 b，c 也应该随之销毁。
在舛讹研究进程中，这点变得尤为紧迫，因为个论断可能由多个不雅察收尾支合手。
即使某个特定的欺诈原语被阐述注解，论断可能仍然成立，因为存在另条立的旅途通向疏导的收尾。
因此，Lemmalog 需要追踪事实的式，并在情况变化时新它们的支合手联系。
便的是，这也为咱们带来了另个有用的特：
咱们不错征询某件事为何为真。
设想下，咱们在拜访某件事时运行了个代理数小时，它终得出论断：
这很好，但我也很想知谈为什么。
由于 Lemmalog 也曾追踪了事实的依赖联系，咱们不错向它征询论断的来源。举例，咱们可能会取得观念上肖似这么的收尾：
如果 observation_41 自后被阐述注解是作假的，咱们就知谈这个论断可能不再有，而且由于数据库也知谈这点，它不错自动移除受影响的论断。
这初主若是为了确保增量评估正确运行阿坝预应力钢绞线厂，但事实阐述注解，能够征询 AI 代理为何驯服某件事也特殊有用 :)
它还赓续了我在 LLM 扶植研究中遭遇的个令东谈主头疼的失败模式。有时模子会自信地说出肖似这么的话：
但现实上并非如斯。
如果 Lemmalog 中存在某个论断，我不错征询它的来源。如果莫得支合手它的来源，那么它就不属于治愈状况的部分。
这显著弗成阻挠 LLM 在提真金不怕火进程中产生幻觉，但它确乎让支合手的论断难悄然成为拜访的部分。
另个问题是，替换往事实并不老是等同于删除它们。
对于大大量现时查询，咱们可能只平和二个诠释。然而，如果咱们想相识为什么之前探索了某个特定的欺诈政策，旧状况仍然很有用。
为此，Lemmalog 不错将事实与有区间关联起来。
观念上，咱们不错将状况暗示为肖似这么的口头：
而不保留两个显然矛盾的事实，并让 LLM 来决定咱们指的是哪个。
再说次，这现实上不是言语模子的问题。
这主若是数据库的问题。
为什么顽抗直使用向量数据库呢？
向量数据库特殊有用。
语义搜索可能恰是我想要的。
但余弦相似度与事实真相，并非回事。
向量数据库能检索到：
因为它与我的问题筹谋。但它自身并不知谈，这条诠释两小时后就被翻了，也不知谈还有其他五个论断依赖于它，因此这些论断也应被视为不再有。
这让我果断到，在“驰念”这个词下，其实掩藏着两个不同的问题。
检索在赓续个问题上瓦解很好。
而 Lemmalog 主若是个赓续二个问题的实验。
这两者也不错结使用，这亦然我目下的作念法。
舛讹拜访基本上即是个分析状况。
我越入研究，就越发现它与标准分析有诸多相似之处。
在舛讹拜访进程中，咱们会进行不雅察：
这与咱们在标准分析中已有的使命惊东谈主地吻。
当输入发生变化时，咱们膨大增量评估：
因为咱们追踪依赖联系，是以也能解释收尾的来源：
在某个时刻，我大彻大悟，我其实是提神中，像构建静态分析引擎样去赓续这个问题。
这也变嫌了我对 LLM 自身角的看法。
你险些不错把通盘系统看作个有点奇怪的编译器。
Lemmalog 即是中间暗示和分析引擎：
另次 LLM 调用终不错将该状况转化回当然言语，建议下个实验，或用它来膨大某些操作。
道理的是，咱们的领略器是概率的，而其后的系数要津则未需要如斯。
这真的能让 LLM 变得好吗？
这虽然是个紧迫的问题。
引擎自身当今支合手增量评估、除掉、溯源、时辰事实、聚、实体领略、混检索、按需查询，以及堆其他——我之是以添加这些，可能是因为兑现 Datalog 特比我设想的道理。
但如果给 LLM 这种驰念并弗成真实任何东西，那么以上这些齐关要紧。
收尾比我预期的要好些。
LongMemEval 测试的是 LLM 能否恢复对于长对话历史中散播信息的问题。我使用的测试集包含 102 个问题，平中分拨在用户事实、助手事实、偏好、多会话问题、时辰理和常识新这六个类别中。
因为每个类别唯有 17 个问题，锚索样本量不算大，是以我运行了三次 Lemmalog，而不是对某次偶然的分感到开心。
作为对比，已发表的驰念系统收尾如下：
我我方用完好高下文的 GPT-4.1 跑出的 F1 分数是 0.197。
是以 Lemmalog 还没过 PropMem，也仍略逊于 SimpleMem，但它的 F1 分数是让 GPT-4.1 读完好对话的两倍多。
道理的是，传给恢复模子的高下文小了大要 38 倍。
显著，治愈状况而不是反复重读通盘历史纪录，确乎有用 :)
次代表运行中的分类收尾如下：
我以为道理的收尾是常识新（Knowledge Update）。
Lemmalog 得了 0.579，而 PropMem 是 0.528，完好高下文唯有 0.202。
常识新基本上即是我初平和的情况：
是以看到 Lemmalog 在接近治愈标准状况的类别上先已发表收尾，如故挺让东谈主舒心的。
单会话事实驰念也独特地好。Lemmalog 在用户事实上达到 0.790，在助手事实上达到 0.672，而时辰理达到 0.416，险些和那次运行中 PropMem 的 0.424 合手平。
显然留传的问题是跨会话理：
会诊这些失败很特地义：信息时时不是聚合错了，而是根底没被提真金不怕火出来。如果提真金不怕火器从未为 Airbnb 预订生成事实，那么论何如，齐法恢复筹谋问题。
这引出了跑基准测试时个挺逗的插曲阿坝预应力钢绞线厂。
我无意地陶冶了它不恢复问题
有次，LongMemEval 的 F1 斯须掉到 0.371。
排查失败后，我发现 102 个问题中有 32 个被拒答了。
问题出在我为了减少幻觉而加的条指示。我告诉阅读器，在恢复前要确保谜底确乎有检索到的事实支合手。
糟糕的是，模子把它相识成了：
如果莫得单个事实字面上包含终谜底，就拒恢复。
显著，莫得任何事实会说：
如果驰念里存的是：
谜底其实存在，只是需要数下。
赓续主张是别离两种情况：
如果前提缺失或包摄作假，就拒。
如果前提缺失或包摄作假，就拒。
如果把柄存在但需要计数、比拟、组或排序事实，那就真实去理。
如果把柄存在但需要计数、比拟、组或排序事实，那就真实去理。
确立后，F1 规复到了 0.429。
剩下的差距则为掩藏：计数旅途其实直处于静默失状况。计数行在展示给读者之前，会经过个筹谋过滤器，而该过滤器使用的复数词干提真金不怕火器只处理长渡过四个字符的单词。因此，owns 永久法匹配 own，每条计数行齐被丢弃，计数问题悄然间得不到任何计数收尾。
确立词干提真金不怕火器、将计数与其所统计的事实同渲染，并事前计较日历运算（而不是寄但愿于模子能正确相减两个日历），使得 F1 分数进步至 0.463。
这区别在另个基准测试中也显得至关紧迫。
我还针对完好的 LoCoMo 基准测试运行了 Lemmalog。
LoCoMo 的边界要大得多：包含 10 段长对话，系数 1,986 个问题，隐敝事实回忆、时辰理、多跳问题、理以及对抗作假前发问题。
这个基准特别有用，因为 1,986 个问题使得偶然因庆幸种子而开心的可能大大裁减。
我再次将通盘基准测试运行了三次。
已发布的对比收尾如下：
因此，在现时对比中，Lemmalog 在用驰念系统中位列三，仅次于 PropMem 和 OpenClaw。
如果将通盘对话平直塞入教唆词也当作种驰念系统，那么它则排在四。
紧迫的是，三次运行的收尾险些致，因此约 0.53 的分数似乎是真实收尾，而非基准测试的巧合波动。
终设立下的种种别收尾如下：
这里有两个收尾我特别抚玩。
个是时辰理。
Lemmalog 的运转版块得分如下：
设随即间归化和检索之后：
这个 bug 其实相当道理。
有次，我将肖似日历的值作为里面化的 Datalog 象征进行比拟。
引擎对象征的
里面 ID 显著不是日历 :)
在将提真金不怕火的日历标准化为可比拟的整数，并从现及时辰戳出 happened_before 联系后，时辰能进步了近 20 个 F1 点。
我可爱的二个收尾是对于对抗问题的。
这些问题成心包含或作假包摄的前提。
举例，对话中可能包含某东谈主收到礼物的故事，随后个问题却将同礼物作假地归因于另个东谈主。
面临浩荡的对话纪录，言语模子很容易被诱去找到语义相似的故事并照样作答。而结构化驰念则能注释到，对于问题中波及的阿谁东谈主，根底莫得支合手事实。
收尾阐述注解，这个谜底相当有用。
个 LoCoMo 兑现得分 0.483。
现时版块得分约为 0.533。
Datalog 评估器并莫得斯须变得灵巧 10。
大部分纠正来自于确立信息怎样收支分析状况的问题。
举例，实体领略（Entity Resolution）被阐述注解至关紧迫。
设想以下会话场景：
那么 Datalog 引擎确乎在按咱们的要求膨大。
糟糕的是，咱们要求它理的是三个不同的对象。
因此，Lemmalog 当今增多了个长入行为，将片断内的说起聚合到表率实体。
纯词汇检索也致了些道理的失败。个提到「a」的问题：
不定能检索到对于「an」的事实：
尽管这种联系对咱们来说不言而谕。
当今，检索结了 BM25、图/实体增强和镶嵌（Embeddings），而终高下文既包含结构化事实，也包含它们来源的原始片断。
这再次提醒咱们，这种架构的难点不定在于计较不动点。
而在于从当然言语中构建细致的信息检索（IR）。
这又让东谈主嗅觉像是标准分析。
有些事情大致应该保合手拖沓
还有个域 Lemmalog 仍然瓦解欠安：理。
在 Datalog 看到之前，也曾丢失了半的有用信息。
显然的向不是放胆结构化驰念，而是住手假装每个驰念齐是要求元组。
要求常识不错保合手要求：
原始片断文本也不错保留，以备结构化暗示丢失有用细节时使用。
因此，有用的架构看起来不再像：
庆幸的是，这也曾特殊接近 Lemmalog 当今的形状了。
收尾中还有部分我初没猜想会如斯权贵。
对于 LongMemEval，恢复模子大要看到：
虽然，提真金不怕火是有资本的。
对话须被读取次并曲折为事实，是以说通盘系统低廉 38 倍是不针织的。
紧迫的区别在于，提真金不怕火只发生次。
全高下文教唆（Full-context Prompting）在每次查询时齐要再行支付通盘历史的资本。
因此，对于合手久代理（Persistent Agent），这种各异会随时辰增长。
在某个时刻，全高下文版块不仅变得奥秘。
它以致法再适当高下文窗口。
Lemmalog 的查询高下文不会随通盘转录增长，因为它检索的是筹谋的治愈状况。
这原来即是初的初志。
LongMemEval 包含 102 个问题，而 LoCoMo 仍是个对话驰念基准，而非舛讹拜访。
在两项标准化比拟中，PropMem 全体上仍于 Lemmalog。
是以，我不会宣称 Datalog 已赓续 LLM 驰念问题。
但我确乎认为，这些收尾足以阐述注解这个想法并非无理。
在三次 LongMemEval 运行中，Lemmalog 的得分如下：
当任务励架构诡计所针对的特时，它尤其具有竞争力：常识新、时辰状况、多跳联系以及拒根据的前提。
然而，大致对我来说道理的收尾，并不是终的数字。
次标准化的 LongMemEval 设立得分如下：
大部分纠正来自于凝视个别失败案例，并发现相当具体的计较机科学问题：
实体身份未聚合
日历暗示作假
检索遗漏了语义别称
聚存在但未被名义化
复数词干提真金不怕火器认为“owns”不匹配“own”
阅读器被无意磨砺成拒综
这些齐不需要扩大言语模子的边界。
它们需要在其周围治愈好的状况。
研究到我启动这个样式标初志，我以为这个收尾相当道理。
因此，下个实验才是我真实平和的。
给代理个复杂的舛讹拜访任务，让它万古辰运行，不雅察治愈其分析状况是否能阻挠它回生已毁灭的假定，并止它在不雅察之间产生幻觉联系。
这可能比记着 Alice 在那里使命道理。
我并不是真的想给 LLM 好的驰念。
我想让它住手健忘咱们为什么驯服某些事情。
如果代理也曾发现：
况兼自后得知 A 不再为真，咱们就不应该需要给它五十条旧音信，让它去判断 C 是否仍应被信任。
相似，如果某个欺诈政策依赖于个咱们刚刚在调试器中证伪的假定，我不但愿模子在两个小时后因为旧对话正值具有语义筹谋而再次建议疏导的政策。
咱们也曾知谈怎样赓续波及事实、依赖、构怨固定点的问题。几十年来，咱们直在数据库和标准分析中赓续这些问题。
基准测试收尾至少标明，这不单是是个表面上的好主意。
Lemmalog 也曾能与用的 LLM 驰念系统较下，在它诡计针对的某些任务上大幅越完好高下文处理，而且它只给读者呈现原始历史的小部分。
但它还有许多不擅长的地。
不外，也许咱们并不需要每次智能体健忘什么时齐扩大高下文窗口。
有时候，咱们只需治愈好状况就够了。手机号码：13302071130相关词条:罐体保温 塑料挤出设备 钢绞线 超细玻璃棉板 万能胶
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。
