BobinSun.蛋总

ToB-LLMs的三点思考：应用发展、技术路径、平台工具

2024-01-13T04:34:00+00:00

ToB-LLMs：应用发展、技术路径、平台工具

在上篇文章大模型应用方案升级实践与思考中可以谈到大模型的应用升级之路Prompt -> RAG -> Copilot -> 单体/群体Agent。

在上文的基础上，本次聊聊针对ToB-LLMs的应用场景发展、技术路径展示和平台工具设计思路。

限于个人眼界、学识必定有缺陷、不足和错误，部分观点更是个人看法，仅供参考，欢迎交流指正。

先说结论：

在业务应用层面：实现由点到线，由线到面，由面到体构建企业全局业务Agent；
在技术实现层面：实现按照业务调用顺序搭建组件工作流，及工作流嵌套，进而上升到单体Agent、群体Agent、多个群体Agent，从而实现全面自动化和智能化；
在工具设计层面：实现原子化、组件化、通用化

LLMs应用场景变化趋势

由点到线，由线到面，由面到体构建企业全局业务Agent

目前大模型最主要的交互形态是对话形式，所以应用工具的建设思路还是围绕对话形式展开，在对话中管理业务场景任务，将任务执行组件融合在对话管理中，通过对话与改进技能进行交互。

通过业务技能组件流组装，选择合适的技能流创建一个对话，在对会话中，用户与改技能进行对话交互，从而获取目标结果。

在ToB领域中，应用场景升级可以分为3步走：私有知识库问答、业务流程报告生成、业务流程自动化：

私有知识库问答：从私有数据、文件等结构化、非结构化数据中提取关键数据，进而对用户的问题提供查询结果和推理分析结果，主要面向单点问题、持续深入类问题。如：企业年报问答指标提取、公司规章制度问答、产品使用说明问答、数据库查询、特定角色对话等场景。（单点业务场景）
业务流程报告生成：将有固定分析思路和维度的业务场景提炼，调用各类型的工具进行信息提取，设置业务流程，进行报告生成。如：营销策略和方案生成、项目合同生成、文件内容摘要生成、信贷调查报告和能成。（单链条业务场景）
业务流程自动化：涉及数据、知识的录入、规范化的流程处理和结果推理，当触发条件到来时，调用企业一系列数据、工具、系统进行自主自动规范操作。（全局业务场景）

LLMs应用技术迭代路线

按照业务调用顺序搭建组件工作流，及工作流嵌套，进而上升到单体Agent、群体Agent、多个群体Agent，从而实现全面自动化和智能化

为了达到业务目标，需要通过不同单元来处理不同的业务部分，那么就需要用到不同类型的数据、平台、工具、系统、计算等能力组件进行组装，是原子业务处理能力的组装。

通过组装实现业务工作流、工具链，涉及到复杂的业务甚至需要不同工作流的共同努力。业务目标是一个终极任务，需要对任务解析、方案制定、任务匹配、任务分发、结果整合、反馈循环形成闭环处理能力。

以上是对相对固定的业务场景进行处理，那么如果需要对流程相对不固定的业务场景如何处理？流程不固定的业务场景可能涉及的问题就非常多了，比如：问题分析、解决方案设计、资源协调、风险管理、沟通协调、决策制定、执行监控、合规检查、知识管理等。

单纯通过固定的工作流、工作链就难以处理了，需要上升到Agent层面，通过单角色的Agent来处理问题无法全面去考虑问题，比如：在软件产品设计工作中，产品经理更多的考虑产品的问题，无法深入考虑研发的问题、运维的问题，就需要引入团队式Agent，团队Agent中融入各种各样的角色来更全面的讨论问题，处理问题。

但是，一款软件产品的研发不只是产研团队的问题，还要考虑目标客户群体、公司决策层、销售团队、运营团队、财务团队等，那么为了最终目标达成，就需要引入多个团队式Agent，也就是多群体Agent的讨论制定方案，从而做出决策，获得最终结果。

所以，整体的发展路径从固定场景的精准可控工具链、工作流到单体Agent、群体Agent、多个群体Agent实现由点到线，由线到面，由面到体构建企业全局业务智能化

LLMs应用平台工具设计实现路径

在工具设计层面：实现原子化、组件化、通用化

通过对业务实现层面和技术实现层面讨论的基础上，再看平台工具层面设计框架，想要更快、更方便的搭建服务于给累业务场景的平台工具，要考虑几个方面：

首先，要解决的就是数据的加载、处理和存储，构建私有知识库。加载各类数据来源中的数据，包括：Word、PPT、Excel、PDF等等（数据装载器）；针对大模型上下文长度有限需要对文档进行分割，获取直接有效的背景信息（文本分割器）；对分割后的文本需要进行语义检索，所以要将文本转化成向量（文本嵌入器）；进而需要把转化后的向量进行存储（向量存储器）；

其次，需要集成各类LLMs和prompt结构，不同模型的优势能力不同，为了提供高效、高质量、低成本的应用效果，进而从调用单个大模型能力转为调用多个大模型能力（语言模型器）；Prompt是调用大模型生态能力的接口，所有被用于模型预测输出结果的内容，都是Prompt。为了更好的调用大模型生态的能力，设计优秀的prompt结构和策略，为应用提供良好稳定的性能表现（Prompt组装器）。

为大模型提供取用丰富的脚手架工具提高能力边界，不同的业务场景有不同的工具及外界环境，但所有的工具都是为了获取丰富准确的背景知识、多样化的内外环境系统交互能力。包括：私有知识检索器、脚手架工具器、实时数据获取器、内外系统交互器、交互信息记忆器。

以上都是处理组件，属于中间层，整体架构应该包含三层：输入层、中间层、输出层，当然还要涉及（输入输出处理器），用来接受文本输入和上传文件；以及（输出内容解析器），将模型输出流程中的内容解析为结构化数据，帮助数据流转过程中的机器识别。

最后就是针对任务进行处理的工作流/链以及Agent层，将整体的任务串联起来的任务解析、方案制定、任务匹配、任务分发、结果整合、反馈循环。按照指定顺序、流程调用不同的各环节组件（工作流/链组装器），还可用LLMs来决定如何调用不同的组件，能够自主完成多样化复杂问题的拆解规划与子问题的解决（Agent处理器：单体Agent、群体Agent、多个群体Agent）；

最后

最终通过平台工具层面的原子化、组件化、通用化，实现从调用单个大模型能力转为调用多个大模型能力、从调用单个工具到调用整个工具链，从调用单个Agent到调用整个Agent生态能力，从服务单个场景到服务整个业务链。

大模型应用方案升级实践与思考

2024-01-11T04:34:00+00:00

大模型应用方案升级实践与思考

结合之前做的一些产品实践，以及近期在大模型解决方案、产品形式、技术发展上的一些见闻，谈谈看法和想法，涉及到大模型的应用方案迭代升级，必须知道每种方案的所能与所不能。

大模型涌现出来的能力有很多，并且在快速发展，我认为其最重要且核心的三点是指令理解与遵循能力、内容生成能力、思维链推理能力，这些能力让大家对其在业务中应用产生了无限的想象。

有优必有劣，在ToB领域企业共识是必须与企业数据结合，大模型才能解决实际应用问题。但用基座大模型、行业大模型（SFT/Post-train）的方式去解决企业个性化需求，会带来很多问题：

大模型训练所需人才稀缺
训练成本极高、周期长
无法确保训练的可靠性和稳定性
有新数据就需要进行再次训练，还可能出现问题
当基座模型升级，原有训练数据无法使用

应用升级之路：Prompt、RAG、Copilot、Agent

Prompt引导输出

Prompt是指给定的一段文字或指令，作为输入来引导模型生成特定的输出。Prompt可以是一句话、一个问题、一段描述等，为模型提供了上下文和指导，帮助模型生成与Prompt相关的、符合预期的输出。

Prompt在大模型中的作用是指导和限制模型的生成，使其生成与Prompt相关、符合预期的输出。设计合适的Prompt，可以控制模型生成的内容，使其更加有针对性和可控，适应不同的任务和应用场景。

目前也有很多Prompt框架都是在BROKE、CREATE、LangGPT等等，包含模板、最佳实践和指导原则等，帮助创建出更有效、更有针对性的Prompt，提升模型在各种应用任务中的表现。它的意义在于：格式清晰标准化，提高可复用性、效率、可扩展性、可解释性，方便进行知识共享等。

但是Prompt只能依赖于模型的预训练知识，限制了模型在处理需要外部信息或实时数据的任务时的表现。

RAG信息增强

RAG(检索增强生成)，什么情况下使用RAG。我认为有3点：

引入私有数据，减少幻觉，且私有数据存在一定频率的动态更新，解决长尾问题；
对于事实来源依赖度强，需要给出内容出处，增强回答可信度；
计算资源（GPU）不允许不充足的，客观条件不允许；

当然也不是说不需要SFT，是SFT+RAG更有性价比，远比每个企业或者每个场景SFT更有适用性。

Sam Altman在YC W24 启动会上的演讲要点：不建议大家把产品和服务建立在解决当前GPT-4模型不足的地方——其中大部分都会被GPT-5的模型升级所解决，特别是创业公司更需要基于场景做优化而不是基于模型能力做优化，从长期看通过检索增强生成（RAG）或是提供更多相关背景信息（Context）可能比微调模型（Fine-Tuning）更有意义。

而RAG的核心思想是，通过检索的方式，找到一个或多个相关的知识片段，然后将这些知识片段作为输入，提交给大模型，生成最终的输出。RAG本质上还是为了扩展大模型的外挂知识库，这个外挂知识库的知识又分为长期记忆和长期记忆。

知识库的实现细节也非常复杂，如：基于对话进行管理、划分切片、检索、清理、更新、存储、存储时间等都是需要考虑的问题。知识库可以作为一个单独的模块设计实现。

短期记忆一般就直接放内存中，但如果应用发生重启，短期记忆就会消失；此外，如果对话量很大，短期记忆的内存占用也会很大。使用外部的数据库进行持久化存储，是一个更好的选择。

长期记忆（硬盘）
- Embedding模型+向量数据库
- 稀疏检索+向量检索并行
- 搜索系统和大模型对齐
- …
短期记忆（内存）
- 长上下文窗口

但是现实业务应用场景远比我们所看到的RAG要复杂，比如需要一些工具插件（如搜索、浏览）、行为增强插件（定制工作流）、存储管理插件（数据存储方案）、业务数据管理插件（如角色、状态管理）、协作沙盒插件（自动化方案）等，凡是在实际业务中需要的管理、业务、渠道、其他等数据信息都要接入，因为要进行各类问题的解决，是个单点业务下的综合解决方案、或者业务链条下的综合解决方案。涉及到信息抽取类问题、数值计算类问题、逻辑推理类问题、业务决策类问题等等

可见RAG的下一步是Copilot，尽头是Agent。

Agent与SOP式工作流

Agent的定义是以大模型为大脑驱动，能够自主感知环境、行程记忆、规划决策、使用工具并执行复杂任务，甚至与其他Agent合作实现任务，能根据用户的语言请求进行任务拆解规划，从而多轮次调用不同的工具，来实现最终的目标。

和Copilot不一样，Copilot倾向于强调辅助和协作的角色，而Agent则更强调独立性和自主性。Agent可以自己规划并执行任务，也可以连接很多服务和工具来达成目标。OpenAI开发的GPTs，是基础Agent的构建能力，如工具调用、基于知识库文件记忆能力。在实际运行过程中，遇到难以决策的问题也会寻求你的帮助，你需要把知识、经验、需求、预期等喂给它，在交互过程中实现全自动化的决策、运行和反馈；这跟基于人设定的逻辑，辅助处理问题的逻辑完全不一样。

从角色上分析，大模型所需的Agent包含Planner和Executer两部分：

Planner，具有决策能力的思考者
- 主要是围绕工作目标，制定合理的行动计划，分析过程中获得的反馈，进行行动修正
- 是控制中心，执行工作，尤其是需要确定性结果的执行工作，交由其他工具执行
- 能够针对不同的场景和不同需求的用户有较强的自然对话能力和理解能力
- 自省和成长迭代能力
- 能够模拟人的听、说、看、想，具备跟整个自然世界交流的能力
- 价值观对齐能力，Agent也需要像人一样受到社会价值观和道德取向的约束
Executor，是特定工作的执行者
- 主要工作是扮演行动链/流水线中的一环，与其他环节配合以达成预设目标
- 是问题回答者，是执行单元，执行工作就是自己的任务，需要保证自身的准确性和完成度
- 学习使用工具、规划，还有记忆、知识储备等
- 可被定义的能力，根据人的需求和设定，随时变化出一个特定的形态

设计良好的Agent能解决大模型应用感知世界、连接周边系统的问题。

当然，Agent也在不断发展，面向问题解决的Agent能力成长拆解，可以分为大致3个等级，L1、L2、L3步步推进：

L1，需要高精度描述问题，高度依赖人类给定的处理流程设计或建议，能够处理基于自身知识储备和知识补充的问答类问题，能够正确扮演自己的角色并于其他Agent/人类完成通讯
L2，可以接受一定模糊程度的问题，可以基于问题拼装给定小流程的碎块，能够处理流程较短、需要结合少量工具调用的综合类问题，能够理解自己所在协作组织关系中的位置，能够给出上下游协作建议
L3，可以接受现实场景自然语言表述的问题，能够自主规划解决问题的全部处理节点和判断节点，能够处理长链条、多分支、复杂上下文的复杂问题，结果具有高度可靠性，能后进行自组织选择合适的组织关系和方式完成给定任务

目前所看到的Agent都在L1级别，典型的SOP式Agent，如：coze、InsiderX、zapier、vectorvein等，远远不能达到Agent的定义，是一种SOP式的RPA。

单体Agent和群体Agent

在Agent的背景下，单体Agent指一个Agent能够独立完成的任务，而群体Agent则涉及到多个Agent之间的协作，共同实现更复杂的目标。例如，在一个多智能体系统中，每个Agent可能负责不同的子任务，通过相互之间的通信和协调，共同完成一个复杂的任务，在L2、L3级别。

单体Agent：

单体Agent指的是单个智能体（如单个AI Agent或机器人）所展现的智能。这种Agent常被设计来完成特定领域的决策制定。
在单体Agent中，Agent的决策和行动是基于其自身的知识库和处理能力。它们可能通过分治算法来不断优化自己的性能，不涉及与其他智能体的直接协作。
单体智能的应用包括个人助手、自动化生产线上的机器人等。

群体Agent：

群体Agent是指多个智能体（如多个AI Agent）通过协作和通信来共同解决问题或完成任务的能力。这种Agent现在智能体之间的互动和集体行为上，每个Agent可能只负责整体任务的一部分。
群体Agent强调的是Agent之间的协同工作，通过分布式计算和信息共享，实现比单个智能体更高效或更复杂的任务处理。
群体Agent的应用包括多机器人系统、分布式计算、群体决策支持系统等。在这些系统中，Agent可以共享信息、协调行动，表现出超越单个智能体的智能水平。

OpenAI开发的GPTs，实际上属于单体Agent。AutoGPT、GPT-Engineer和MetaGPT这三个框架都可以被视为群体Agent的进化之路，有的涉及到多个智能体（agents）之间的交互和协作。在这些框架中，Agent有单体Agent，也有多个Agent组成的群体Agent。

AutoGPT：
- AutoGPT能够根据用户设定的目标，自行制定计划并执行任务，无需人持续干预。通过迭代自己的prompt并在每次迭代中构建prompt实现目标。
MetaGPT：
- MetaGPT强调了自动生成Agent的能力，将SOP具体化。包括产品经理/架构师/项目经理/工程师。提供了软件公司的整个过程以及精心编排的SOP。以一行需求作为输入，输出用户故事/竞品分析/需求/数据结构/API/文档等。

通过Agent之间的交互和协作，这些框架能够解决复杂的问题，展现出群体Agent的优势。如：使用自然语言进行软件开发、实体产品设计、数字产品设计，从而通过不同的智能体，提供了更强的生产力，重塑整个生产资料、生产关系，整个社会的产能也会有一个很大的提升。

因此，对于Agent也提出了更高的要求：

大、小模型切换适配能力
对使用者而言简单的指令输入
精确的指令表达
丰富准确的知识储备
真实的拟人化表现
完善的context管理调用机制
复杂的处理过程控制
丰富的工具使用
丰富的群体Agent参与机制
强大丰富的任务处理能力
…

ToC与ToB的应用展望

ToC方向Agent可能是智能助理（工作、学习、生活…）等，从群体Agent角度来看，ToC或许是更大的社区化组织，每个人的Agent都能通过数据连接在一起。

ToB方向Agent可能成为企业内部的不同工种，重塑企业组织流程，提效的同时，最后实现完全由Agent组建、运营起来的公司；组织、企业，不同的企业和员工都能通过智能体纳入到网络当中。

目前大模型在ToB领域的应用场景主要面向运营管理层面，如果想要真正用起来，需要将大模型融入企业原有数字化系统，即打造企业全局业务Agent（基于大模型能力重构的Agent层），需要考虑构建LUI交互模式、服务注册机制、打通异构业务系统、API管理系统、优化体验等

进而打通企业各类业务系统，如：OA、HR、CRM、ERP，如银行层面包括：业务类（核心业务系统、信贷管理系统…）、渠道类（渠道管理系统、网络银行、手机银行…）、管理类（风险管理、商业智能、金融审计与稽查…）

好了，这次先聊到这，下次接着聊，欢迎交流（主页可获取联系方式）。

Palantir，硅谷创业新黑帮？

2022-09-17T05:30:45+00:00

Palantir，硅谷创业新黑帮？

关注我公众号比较早的朋友，可能看过之前有发过关于Palantir的内容和视频，分别为：

《Palantir分析：商业模式画布、SWOT、垄断特征、以及商业模式》
《Palantir Government 3.0介绍》
《Palantir 结构化反洗钱分析》
《利用Palantir进行人力资源管理》
《使用Palantir进行日志审核分析》

关注Palantir已有几年，且持续关注着。

前两天恰好在【得到头条】听到一段关于Palantir的分析，称Palantir晋升为硅谷「创业新黑帮」，从另一个维度体现了Palantir战略格局，忍不住想唠一唠。

Paypal创业黑帮

前有Paypal创业黑帮，今有Palantir创业新黑帮。

他们分别是：

Palantir创业新黑帮

2004 年，Palantir 成立，创始人是 Peter Thiel、Alex Karp、Joe Lonsdale、Stephen Cohen 和 Nathan Gettings。

从Palantir走出的员工，在硅谷创立了170+家科技企业，3+家企业市值超过50亿美元，Palantir的一号员工Alex Moore和十号员工Garry Tan联合发起了校友基金，专门投资Palantir朋友圈的科技企业，他们专门投资Palantir的创业圈，形成庞大的创业网络。

从财力估值，Palantir 目前有160亿美元市值，只有谷歌市值的1%；从人员规模看，Palantir 目前只有2000+员工；从发展年限看，Palantir 目前成立只有18年。

为什么称Palantir为硅谷创业新黑帮，整段音频从人才招聘、能力培养、业务布局3个维度对Palantir进行了分析：

人才招聘

老牌大厂和国内大厂一般从名校校招下手，Palantir 招聘不光看名校，更看“关系”。Palantir 的招聘原则是，“找到最聪明的人，并且找到他们的朋友，以及他们朋友的朋友”，充分利用了Palantir自身所擅长的AI大数据关联分析、知识图谱。

据说Palantir有一名联合创始人，早就毕业了，但还去斯坦福上高级NLP课程，比其他公司早一步，在学校就把金字塔尖的人才挖到手。

找到第一波人才，接下来，Palantir 充分发挥自己做AI大数据关联分析的优势，把Facebook上的社交关系数据拿来，通过好友关系，把人才以及人才的朋友一网打尽。

公司都是顶尖的人才，而且这些人才本身就有这千丝万缕的联系和交集，彼此熟识，接下来组队创业也就水到渠成。

能力培养

在以往的认识中，技术大牛往往缺少商业思维，很难成为成功的老板。

这些人当中，出现一两个商业天才可以理解，但Palantir的技术精英中涌出这么多成功创业者，其实与Palantir的产品特性有关。

传统to B软件标准化程度高，定制部分少。如：ERP、CRM

Palantir的产品主要是给政府机构和企业用的AI大数据可视化分析平台，业务模式多种多样，数据结构更是多源异构，产品实施过程中需要提供现场咨询，不是一个简单的标准化产品交付就可以的。

Palantir实行“二八工作模式”，产品解决80%的标准客户需求，20%由最熟悉产品的人，也就是技术精英去现场完成，这就倒逼技术精英既要做产品、又要写代码、还要能表达、协调资源、当销售、当咨询师和客户深度磨合。

2020年IPO，Palantir的专职销售不到30人，其他的都由技术精英兼任。

一名Palantir出来的创业者说：“在Palantir历经磨练获得的协同工作能力、解决难题的韧性，是推动Palantir创业网络越来越大的原因”。在Google这样的大公司，工作条件太好，每个人更多是专职，很难有多角色兼具的机会，反而很难学习到更多的能力。

业务锤炼

Palantir的业务模式需要深入到各个行业当中，分析每个领域的业务痛点和机会，定制解决方案。

Palantir的技术精英在为客户解决问题的过程中，自然也能发现更多隐藏在行业中的创业机会。

事实上，很多出去创业的人，就是做的跟之前业务高度相关的项目，比如：银行的交易反欺诈平台、公共安全分析平台Pregrine、财务分析软件Mosaic、心里健康分析平台Little Otter等等。

目前Palantir刚上市才两年，自己都在成长期，那么多技术精英离职创业，CEO慌不慌？

Palantir丝毫不慌，甚至可以说鼓励这种做法，这就要说到Palantir的商业模式了。

在整个创业网络里，Palantir不光做人才输出，还做平台工具的供给（面向企业用户的Foundry、面向正奇客户的Gotham、面向开发工程师的Apollo）。Palantir把自己数据平台的底层架构工具授权给这些创业者，由创业者做细分行业的深度开发。

在这个基础上，它又开发了一个新的软件平台（Foundry for Builders），并且允许创业者访问所有利用相同平台工具来做行业服务的公司，这些企业之间相互分享成果、交流经验。Palantir还专门成立了一个“合作伙伴关系部门”，运营这些”创业朋友圈”的合作关系。。

总之，Palantir的创业圈越发达，公司本身的业务就越繁荣。

最近再看张宏杰所著《曾国藩传》，发现曾国藩的幕僚团队与Palantir的创业新黑帮有者较多相似之处，可以作为中国科技创业网络发展的参考。

曾国藩的传帮带

清朝中后期，一般官员所拥有的幕僚，不过数人，甚至数十人，而曾国藩的幕府规模很大，身边一般保持着一二百人的幕僚队伍。

所谓幕府，即幕僚班子或者助手班子。

朱东安在《曾国藩幕府研究》中认为曾国藩幕僚先后公有421人；凌林煌在《曾国藩幕府宾僚探究中》统计幕僚总数前后公有497人。

曾国藩的幕府既是储备人才之库，也是陶铸人才之所。

求才

曾国藩的人才实践，第一步是求才，他说：“山不能为大匠别生奇木，天亦不能为贤主更出异人”。

“大约上等贤哲，当以天缘遇之，中等人才，可以人力求之”，所以他行军打仗，每到一地，便贴出告示，“询访英贤”，“如有举荐贤才者，除赏银外，酌予褒奖”。但凡有一技之长者，必想方设法，收为己用。

观察

第二步观察，有来军营投靠的贤才，先发给少量薪资以安其心，然后亲自接见，认真面试。

做到用之无误，不仅要察言观色，还要试之以事，验之有效。

新人来了，曾国藩都会让他们去前线经历一段：

一是让他们直观了解湘军全貌。
二是通过他们来了解湘军前线近期的情况。
三是通过这种方式鉴别他们的能力。

培养

第三步就是培养，他认为：人才大都是在强力环境作用下磨炼出来的。天生大才非常少，中等以下人才都是可以通过培养教育造就出来的。

他培养教育的方式有两种：

一是定期考试，以批注回答的方式来提高他们的文字水平和对事物的分析判断能力。
二是通过谈话，也就是现在所说的面授，通过这种方式向幕僚传授自己的人生经验和读书心得。

曾国藩用人，还有一个宗旨，那就是“己欲立而立人，己欲达而达人”，给他们制造全面发展的机会。他能“随人之才以成就之，故归之者如流水”。曾国藩幕府中的大部分人对曾国藩都是感激终生。

曾国藩的幕僚出幕后，官至出使大臣5人，军机大臣2人，尚书2人，大学士2人，侍郎3人，北洋大臣1人，总理衙门大臣1人，总督16人，出任总督30人次，巡抚28人，出任巡抚50人次。

此外还有布政史、按察使、提督、副将、道员、知府、知县，最不济也有候补、候选、记名之类，林林总总，不胜枚举。

天京（太平天国的首都，今南京）攻克前后，湘系“文武错落半天下”。

当然，幕僚们从曾国藩这里获益颇丰，曾国藩也从幕府中收获巨大。比如为曾国藩筹集粮饷、调拨兵力、出谋划策等。

曾国藩一生爱传帮带，提拔下属不遗余力，当然也有一些难堪的局面，不过都是权位相侔之后开始的，整体而言是利远大于弊的。

最后

Palantir通过人才筛选、能力培养、业务锤炼，为硅谷源源不断地输送优质创业者。

曾国藩通过求才、观察、培养、提拔，为湘军和清朝输送大量、优质的文臣、武将。

Palantir朋友圈的创业黑帮大军正在抓住新一轮的数据科技革命，把AI、大数据、云计算新兴应用散布到各行各业，织起一张更大的科技网络。

期待国内的创业者们结合硅谷“Palantir创业新黑帮”发展战略，同时也结合湘军领袖“曾国藩的传帮带”的优秀人才培养传统，抓住科技创业机会，培育国内的科技创业圈。

参考资料

图构建：领域本体设计原则与动态本体

2022-08-02T03:10:45+00:00

前文《思考总结：领域知识图谱平台构建与业务应用》中提到：“本体设计是图应用中的重中之重，一切的图展示、图计算、图分析、图挖掘、图模式匹配…的基础在图构建，而图构建的核心是本体设计。”，接着上文，本文就重点聊一下本体设计。

在聊本体之前，有必要先将对于本体的叫法对齐。在知识图谱层面(偏学术)，一般将本体称为本体；在图数据库层面，一般将本体称为Schema；在业务领域层面，一般将本体称为场景图模型；本文将称之为本体。

领域本体是什么

领域本体是指领域概念体系（包括领域概念定义和概念间关系）的形式化规范定义。近几年，随着领域知识图谱项目和产品的发展，领域本体开发的工作逐步从AI专家转移到领域业务专家手中。

依据本体的层次和领域依赖度，Guarino等人将其分为四类：顶层本体、领域本体、任务本体和应用本体。

顶层本体：研究通用的概念以及概念之间的关系，如空间、时间、事件、行为等，与具体的应用无关，完全独立于限定的领域，因此可以在较大范围内进行共享。
领域本体：研究的是特定领域内概念及概念之间的关系。
任务本体：定义一些通用任务或者相关的推理活动，用来表达具体任务内的概念及概念之间关系。
应用本体：用来描述一些特定的应用，既可以引用领域本体中特定的概念，又可以引用任务本体中出现的概念。

本体是一个描述性的形式化概念体系，是知识图谱的模型层，本体中包括点类型（也叫实体分类或概念，本文统称为点类型），点类型属性（也可叫点类型特征，本文统称点类型属性）以及边类型，边类型连接点类型与点类型，边类型也包含边类型属性。

以本体作为模型层，将数据与本体建立一一映射关系，然后将映射结果导入到图数据库中，便可形成知识图谱。因此，可以看出，本体其实是知识图谱的构建范式，是数据的组织模板。

设计本体的意义

通过以上内容可知，本体是构建图谱项目的核心，是图谱组织数据的范式和模板，除此之外，本体的意义可总结为如下5种：

达成业务场景共识，当几个不同的数据源都存在某个业务场景所需的信息或数据时，如果定义好底层本体，脚本就可以从这些数据源中提取并以规范的形式融合数据，进而使用融合后的数据为业务分析决策提供支持，将散落的数据形成知识以提供应用价值，所谓：“无规矩不成方圆”。
复用业务结构知识：许多不同领域的模型需要用到时间概念，包括时间区间、时间点、时间的相关度量等。如果有业务人员详细研究并定义了一个业务本体，那么就可以被其他人直接复用。如果需要构建一个大规模本体，则既可以综合若干相关业务的现有本体，也可以从通用本体出发有针对性地扩展领域本体。
业务知识的显性表示：为便于专家有效应对领域知识的变化。领域知识不但包括事实，也包括规则，例如，“鹦鹉是鸟”为事实，“鸟会飞“为规则（知识），那么业务知识的应用就可以推导出”鹦鹉会飞“。如果只是简单地把业务知识用编程的方式表示出来，不但全程依赖开发者支持维护，而且这样的表示也不利于业务专家理解与更新。而业务知识的显性化表示也便于新用户透彻理解业务知识的完整意义。
区别业务知识与操作知识：数据本身和数据处理流程可以分离，领域应用中不但需要领域知识，同时可以描述如何配置与处理这些领域知识。
分析业务场景知识：可以利用描述性形式语言。通过对领域知识的形式化表示，可以有效支持本体的复用和扩展。

如何设计领域本体

设计本体的过程一般包括如下步骤：

定义点类型（实体分类）
定义点类型的分类关系（即子类 - 父类的分类树），本体中的点类型，可以有最高抽象点类型（如：人类、自然人），也可以有子点类型（如：男人、女人、欧洲人、亚洲人），甚至可以更细分（如：中国人、美国人、北京人）。
定义边类型、边类型的有向型（是否有向，有向为出向还是入向）
定义点、边类型属性以及属性值取值范围
设定点、边类型属性取值的缺省值

领域本体设计原则

本体的应用期望直接影响本体的结构和本体的详细程度，本体的直观程度、可扩展性、可维护性都是本体设计时需要考虑的因素。同时，也要考虑本体模型与实际世界的逻辑联系。

笔者在过往的本体设计中总结了几点基本原则，这些原则可以帮助在许多情况下进行设计决策：

领域场景本体设计没有唯一的标准和正确的答案，只有更好没有最好，最好的设计方案取决于后续的应用期望和拓展期望。
本体设计方案是一个不断迭代的过程，在应用和拓展的过程中，总会发现更优的方案和优化点。
本体中的点类型、边类型以及点、边类型的属性设计，应该接近目标应用场景中的对象和关系。
业务满足度与性能兼容度皆需考虑，在业务与性能之间取得平衡，并且考虑可视化分析与图计算、图挖掘。Neo4j希望用户能够尊重业务领域实体的关系进行设计，Nebula Graph的共识是面向性能设计。

设计好本体的初始版本后，可以通过实际应用、解决问题、与领域业务专家讨论对本体进行评估和优化。一般情况下，初始版本设计的本体，都需要不断调优修改。迭代本体的动作需要在业务应用的整个生命周期中持续进行。

本体版本管理

本体初次设计好后，根据实际业务场景应用发展的需要，总是不断地发展和变化，因此需要对本体进行有效管理。本体管理环节包括：

本体演化：本体的发展过程中的变化规律及本体的维护管理。
本体融合：从多个本体中集成一个新的本体，从子业务场景融合成为新业务场景。
本体验证：验证本体的正确性与合理性，是否满足业务需求。
本体版本化：维护管理本体的演化过程中所生成的不同版本。

Palantir 动态本体

由于本体总是需要不断的演进和变化，业界领先的领域知识图谱公司Palantir提出了动态本体论。

Palantir的设计哲学与核心是动态本体。Palantir动态本体的灵活定义是基于对象的数据模型，动态本体是将众多来源的数据从原始存储格式转换、集成到数据对象和相关属性中的方式，这些属性代表了世界上的人物、地点、事件以及它们之间的联系。

不同的组织以不同的方式构思世界，并且这些数据模型随着时间的推移而变化，动态本体在每个案例(场景)的基础上进行定义，可以随着新的数据源被添加、更改、删除而更新。灵活、统一的数据模型大大简化了Palantir数据集成的过程，能够在几天或几天内完成，而不是大多数据集成项目需要几月甚至几年。

在Palantir中，一个本体主要包括三个部分：

对象：对象指的是任何被建模的事物，对象包含文档、实体和事件。文档是基于文本的，实体是概念和分类的实例，比如人、地点；事件是以时间出现的事物。
属性：属性指是对象的特征，如：人的性别、人的年龄、户籍地等。
关系：关系指的是概念之间的关联，如：人物之间的雇佣关系，人与人之间的朋友关系、夫妻关系。

在Palantir中，可以基于对象、属性和关系设计各种灵活的本体和数据模型。而这里的对象又被分为文档、实体和事件。

对于情报分析来说，及其重要的就是对文档的检索以及分析，对人物、组织等实体的画像和关联，对事件的建模和分析。

动态本体允许对不再使用的对象、属性和关系进行移除，同时也可以添加新的对象、属性和关系，本体时刻处于动态更新。还支持对已有对象、属性和关系的功能的修改，比如可以添加和修改标签、图标、解析器等。

动态本体对于异构数据的集成很有帮助。现有关系数据库的数据管理系统一般采用表和关系的固定模式来组织数据，当模式变化时，需要对表进行修改，导致很多重复劳动。

另外，基于一个固定的模式不利于对数据做集成，特别是对于数据模式经常要更新的场景。

《动态本体 palantir》文章中介绍了Palanti动态本体的方案流程图，可作为参考：

目前大多数图数据库也是支持入图后的本体的二次修改，不过都有较大的限制，一般只支持新增和删除点类型、边类型、点边类型属性，但是不支持点、边类型的修改和属性修改。

动态本体的提出就是为了提供一个灵活可变的数据模型，方便数据管理和多源数据的集成。在一个应用中，可以构建一个数据库的动态本体，而该动态本体可以用来集成各种数据。具体思路如下：

对象类型编辑器用来设计数据类型和数据类型的属性特征。
属性类型编辑器用来设计属性类型并且定义该属性类型的特征。
每个属性类型都有一个解析器，该解析器将一些输入的数据跟动态本体做一个映射，并且把输入数据添加到数据库中。

Palantir动态本体通过解析器可以把各种格式的数据都集成到一个数据库中，从而很好地实现了异构数据的集成。

同时，为了达到这个目的，需要将动态本体的对象类型和属性类型定义完备，同时需要将解析器的正则表达式写好，否则很难使用。这也是Palantir的动态本体的缺陷所在。

总结

本体的设计原则和概念在此做了一些介绍，可以说本体是千变万化的，相同的业务领域基于不同的应用方式以及设计目的，形态和结果多种多样，总得来说以业务需求为导向去设计，并且结合应用场景和应用性能。

当前，本体开发技术存在很多大的局限性，即使Palantir设计出了动态本体以弥补数据和需求的动态演变过程中的本体变化问题，但是解析器的正则表达式仍要穷举，无法定义完备，希望在技术的发展过程中，后续会有更好的本体开发技术出现。

当前依然处于学习和应用尝试中，认知有局限性，不当之处，欢迎私信指出和交流。后台可添加微信

参考文献

神秘Palantir-平台介绍: https://mp.weixin.qq.com/s/JgLkd4_J5s93FDuS31F-Cg
动态本体 palantir: https://blog.csdn.net/weixin_44319196/article/details/111598680
动态本体简介: https://zhuanlan.zhihu.com/p/30799669
本体（Ontology）概述: https://blog.csdn.net/baijinswpu/article/details/81113314

思考总结：领域知识图谱平台构建与业务应用

2022-08-01T03:30:45+00:00

不得不说，由于懒，再夹杂着其他事情，已经很久没有更新了，现在带着这段时间的应用、思考和总结来了，后面会尽可能常更新、常输出，感谢大家未取关之恩。

图谱平台简要介绍

领域图谱的典型应用场景有国防、金融、公安、工业等。从行业渗透情况上看，领域知识图谱最早用于公安、国防等政府部门，随后在金融行业，如银行、保险、基金等得到更大规模的应用，并逐渐拓展至能源、医疗、零售等行业。

知识图谱可分为构建和应用两大部分。

对于图构建，主要用户是企业信息化部门、科技部门的技术人员，但在实际的图构建过程中需要与业务人员进行需求梳理与沟通；

对于图应用，主要用户是业务人员，与图谱平台在行业落地的应用场景相对应，例如银行主要是风控、营销、审计等业务的人员，公安是负责刑侦、经侦、缉毒等工作的人员。

图谱平台搭建背景

当下市场环境，各领域、行业对于数据应用需求日渐强烈，越来越多的企业、机构计划建立起数据之间的关联，希望通过搭建领域知识图谱，开发上层业务图应用，实现智能分析决策。

在建设图谱应用的过程中，会发现数据来源广、规模大、标准不统一等一系列数据问题，伴随业务场景构建复杂、变化快、建模难、复用性低等。此时，图谱平台作为一种领域图谱构建及应用工具，其便捷性与提效降本能力显现出来。

图谱平台定义

图谱平台是基于企业内外部的海量多源异构数据，提供完整的图谱构建与应用流程，实现数据抽取、数据融合、图构建、图可视化研判、图计算、图分析、图挖掘、图模式匹配等，并提供各类图应用输出方式以及图业务场景，助力企业快速完成图谱的一站式应用，深度挖掘数据之间的关联价值，赋能数字化转型。

图谱平台不仅仅是一个技术平台(工具)，应该有机集成各种图谱技术，汇集各种知识，包括常识性知识与领域行业知识；良好的人机交互体验，使平台具备一定的流畅性与实用性；并且具备知识服务能力及多行业迁移能力。

图谱平台建设目标

领域图谱，面向某一行业或特定领域，用户是业内相关人员，用来辅助复杂的分析或研判，支持应用与决策，对准确率、性能要求较高。因此，图谱平台要有完备的工具、便捷的操作和深度的应用性。

图谱平台的建设目标首先是降低图谱的构建门槛，让图谱可以被普通客户消费的起；沉淀图谱技术与行业应用能力，快速构建知识图谱并支撑各行业应用能力。

图谱平台的使命是促进知识图谱的行业落地，因此，集成各种图谱工具模块，积累各行业本体和知识，积累各种应用经验，提高图谱构建效率，降低图谱应用门槛。

领域图谱平台离开行业落地是没有生命力的，平台并非凭空设计，而是在实战中不断抽象、不断完善，在行业应用中实现完美的技术与业务融合。

图谱平台业务目标

搭建图谱平台，一方面，实现业务数据的一站式存储、管理、查询和挖掘，提高决策的准确性及完整性；另一方面，实现业务应用知识沉淀与前置，将图谱理念输入到业务策略中。

实现对多源异构数据的融合、转换、计算与存储，并基于知识图谱平台开发上层的业务应用。从功能规划和应用设计上以金融风控为例，图谱平台一般提供两方面能力：

一方面，为机构用户提供企业统一视图、智能关系查询、负面舆情提醒等信息聚合类应用，以满足业务发展中贷前背景调查、贷中授信审批、贷后动态监控等多场景风控需求。
另一方面，通过隐性集团派系识别、授信集中度统计、黑名单关联等应用实现合规性风险的深度挖掘和集中展示，满足穿透式监管的需要。

图谱平台实现外部数据与业务数据的融合，推出更多应用场景，包括企业信息查询、关联关系查询、动态舆情监控、隐性集团授信集中度分析、异常担保关系识别、黑名单关联分析、担保圈链识别、隐性资金链路等，助力实现数据价值深度挖掘。

通过建设图谱平台，实现自动信息整合与业务知识挖掘。

一方面，节省了在信息搜寻、梳理关系工作上耗费的人力及时间，实现业务工作的降本增效。

另一方面，加强数据洞察与数据价值变现，为业务决策提供有力的工具支持与策略指引。

领域图谱平台应用方法论

在图谱平台如何构建一个业务场景图应用，以金融行业为例，进行简要方法介绍。我们将整个步骤拆解成9个关键步骤，包括：业务理解、本体设计、关键数据分析、数模映射、数据入图、图可视化、图分析/挖掘、图指标/模型和图输出方式，接下来对该9个关键步骤进行详细拆解。

业务理解

首先确定主要使用的业务部门和业务目标，以及展示要求、性能要求、更新要求等等。若业务部门没有相关经验，则需要根据以往的经验结合当前客户的业务目标来引导对于图应用的具体想法和思路。

有了图应用的想法和思路便可分析现有数据情况，需要的数据内容、数据接入形式、数据来源、数据体量、数据更新机制和要求。

数据是一切之本，有了数据便可构思本体设计，设想所需的数据属性、关系等计算需求，如：确定实体及属性、关系及属性、事件及属性，确定计算哪些隐形属性和关系，设计计算规则和策略。

本体设计

本体设计是图应用中的重中之重，一切的图展示、图计算、图分析、图挖掘、图模式匹配的基础在图构建，而图构建的核心是本体设计（本体设计的方法论本次不做过多赘述，后面单写一篇）。

设计好本体，便可根据本体进行相应的实体抽取、关系抽取、事件抽取，实体抽取需确定实体的种类、实体的唯一标识、实体的普通属性等，关系抽取需确定关系的种类、关系的主体和客体、关系的属性等，事件抽取需要确定事件的种类、事件的主体和客体、事件的属性等；此处所进行的本体均为后续的图应用做准备，需全面、细致的考虑。

关键数据分析

对于关键数据的分析直接决定图应用的质量。因此，需要对数据的特征进行严格的分析，如：是否唯一标识、是否多值、是否空值、是否错误数据、是否标准统一、是否特殊字符等等；

评估完成数据特征就需要根据图应用要求对数据进行加工，数据加工即清洗、融合、解析、识别、转化等，对入图数据的质量制定一个好的标准。

数据映射

数据映射即将需要入图的数据与本体进行一一对应，涉及表的映射、属性字段的映射、字段的治理规则等，根据映射关系和治理规则自动或手动从原始数据治理成图谱需要的数据格式，做好入图前的准备。

数据入图

数据入图就是将与本体映射完成的数据导入图数据库，此步骤需要对数据赋权、规定数据入图的任务流、数据导入的方式、以及数据更新方式。

数据赋权即对数据源权限授权和管理；数据入图任务流需要对ETL任务流进行设计、对任务事件进行管理，使数据按照既定策略进行任务执行；

数据导入方式，可对不同级别的数据进行不同的导入方式，小批量数据可进行页面可视化导入，对于大批量数据进行接口批量导入，此处用作测试验证和生产环境不同需求来定；

最后便是数据的更新方式，更新方式包含两种即全量覆盖更新和实时增量更新，导入方式与具体的业务强挂钩，如实时反欺诈就需要实时增量更新，隐性集团派系识别可使用全量覆盖，此处的更新方式不固定，以实际情况作为判断依据。

图可视化

图可视化是图应用的重要组成部分，支撑图展示、图分析、图研判，既然是图可视化，就需要一些图操作功能，例如：图查询、图展开（图查询方式，单实体关系展开、单实体对多实体关系展开、批量实体关系展开、多实体对多实体关系展开）、实体类型外观编辑、关系类型外观编辑、属性值高级筛选、属性值高级过滤、图查询语句使用、图图示化分析工具栏、实时查询计算、各种图布局、时序分析、路径分析、实体操作、地理空间分析、关系展开合并、2D&3D切换等等；

作为行业知识图谱平台，支撑行业场景库的图可视化也非常必要，如：反欺诈团伙展示、担保圈、担保链、企业集团关联关系、资金网络关系、组合风险传导。

图分析/图挖掘

图分析图挖掘以图拓扑结构为基础，再图结合图算法、业务场景策略、图推理方式、图计算引擎对图特征及场景结果进行计算。常用的图算法类型有：中心性衡量、节点特征发现、社团检测、特殊结构发现、路径查找等，结合具体的业务场景需求，对图场景数据集进行计算；

业务场景挖掘需要结合业务识别经验和业务识别规则，对图场景进行分析挖掘，并对分析结果、挖掘结果进行展示，并且可在分析、挖掘结果的基础上进行二次拓展，对严格满足业务规则结果的入库，对疑似满足业务规则的进行结果人工研判。业务场景常用的也需要一些图推理，如：描述逻辑推理、规则推理、以及分布式表示推理。

当然所有的图计算、图分析、图挖掘都要在分析挖掘引擎之上进行，常用的计算引擎有两类：实时计算引擎、批量计算引擎，此处不做过多赘述。大规模图搜索、图数据的代表节点评价、图数据的社区划分、图数据的向量嵌入，基于图的推荐、节点预测、关系预测等实际应用对图计算引擎性能提出了更高的要求。

图指标/图模型

对于图的分析、挖掘离不开对应的业务指标和模型，例如事件规则库、指标库、画像特征库、模型库以及图模式匹配库；以金融风控来说：

事件指标库有识别规则、风险事件、预警规则、资金事件、关联规则，指标库有业务经营指标、关联风险指标、担保风险指标等；

画像特征库有社区画像特征库、担保风险特征库、关联关系特征库等；

模型库有传导路径模型、预警模型、风险计量模型、风险事件传染、图谱特征分析、预警计算、风险传导、中介度、风险扩散度、风险汇聚度、网络影响度、风险大小分布、风险密度分布等。

还有一定程度的图模式匹配需求，如：资金流转链路、资金回流、隐性资金流转线索，以及担保圈中的循环型担保、融资型担保、平台型担保、循环担保等等，并且可支持自定义的图模式匹配

图输出方式

按照如上的图应用类型，图谱平台需要提供与之对应的输出方式，向业务赋能；常用的图谱平台赋能方式可以总结为以下4种类型：

业务系统嵌入，把图分析、图挖掘结果嵌入到业务系统当中，当查询到某一业务节点时，可打开对应业务场景的图谱展示。
接口传参调用，当业务系统有新增时通过接口传入图项目数据集当中进行实时计算或批量计算，计算完成后通过接口返回。
独立平台提供，图谱平台作为独立的图一体化平台，提供图构建、图展示、图分析、图挖掘、图推理等服务。
内部数据源，将各种图数据指标、图特征计算完成之后，推送至数仓、业务系统、决策引擎或其他业务系统等进行调用。

数据处理能力

入图数据处理能力

图谱平台跟大数据平台一样，需要处理各种格式的数据，对入图数据进行加工。对于结构化数据，图谱平台跟大数据平台有重合功能，区别在于，图谱平台需要通过本体来建立数模映射关系，并将数据库数据以本体为标准集成形成知识网络，数据库则通过表结构对数据进行集成。

对非结构化数据，图谱平台与大数据平台则有本质的差异。大数据平台一般将文本、图像、视频等非结构化数据存入数据库或加索引，通过关键词检索，一般有对文本的分类、聚类、打标签、命名实体识别，但不具备或者具有比较弱的图谱构建能力，最多基于图数据库做图数据的导入。

图谱平台最好与大数据平台进行隔离，形成高内聚低耦合的大数据平台与图谱平台，图谱平台只进行入图数据格式的处理及加工，大数据平台对数据进行治理、统一标准，治理完成之后输入图谱平台。

非结构化数据处理能力

据IDC调查报告：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。据报道指出:平均只有1%-5%的数据是结构化的数据。

面向非结构化数据，提供易用的可视化标注模块来满足实体标注、实体关系标注、事件标注、实体属性标注等多种标注任务，并尽可能地支持多人协同标注、以篇为维度的标注、以标注实体/关系/属性类型的标注等多种标注形式是图谱平台不可获缺的能力。

对于非结构化数据源，先进行基于本体约束的结构化抽取，形成三元组，然后再进行结构化映射。结构化数据的映射，自身已结构化，涉及到的抽取操作更多是工程和产品上的，需要考虑操作易用性、数据安全性和完备性。

非结构化数据接入模块所体现出来的是极具门槛性的，“非结构化抽取能力”，即常说的“实体识别、实体关系抽取、事件要素、事件关系抽取”能力，包括抽取模型设计、抽取模型实施以及抽取模型评测等几个方面。

非结构化数据，由于存在从非结构化到结构化的过程，是整个环节中最为关键的部分，这个部分是产生数据误差、引入噪声最有可能的一步，抽取规则选择不当或者抽取模型性能达不到要求，后续步骤便很难走通。

图谱平台应用展望

功能趋势

起初，图谱平台偏向基础图构建、图展示和图研判，随着业务应用的深入，业务人员发现图展示和图研判的路径非常多，对于获得正确结果的路径很长，并且极有可能出错。

这对于图谱平台的应用和大规模的推广极其不利，因此，随着应用的深入，图谱平台逐渐向智能化、简单话方向探索，将业务策略、业务规则直接融入平台，利用图计算引擎，快速获得结果，在图挖掘、图模式匹配等的基础进行判定和二次研判。

此后，相信图谱平台智能化、便捷化、自动化的能力会越来越高。

成本趋势

当前的图谱构建和应用高度依赖于人工，虽然图谱平台具备部分自动化构建功能，但为了同时保证效率、准确性以及可解释性，主流的图谱平台构建和应用方式为人工和自动化的结合。

未来，随着图谱平台的自动化程度越来越高，图谱的构建和应用成本将大幅降低，依赖人工的程度也将降低，可大幅提高分析决策效率。

行业趋势

目前，各行业对知识图谱平台认可度的提高，图谱平台正在领域内拓展开来，目前公安、国防、金融、电商、团购、教育等行业依托图谱实现业务的智能分析与决策。

未来图谱将在医疗、能源、电力等更多知识密集型行业落地，发挥巨大价值，建设或购买图谱平台成为各行业实现智能分析与决策的重要环节，相信日后会有更多的行业应用案例和产品应用案例展露。

如果您也有相关行业案例、产品案例欢迎交流、分享，公众号内后台“AI智见未来”可获取联系方式。

冥想正念指南–如何放下

2021-10-10T01:32:45+00:00

本文来自 奈飞(Netflix) 2021年原创动画短片《Headspace 冥想正念指南》，每集时长20分钟，共8集，展示了一种不同的正念技巧，有助于练习冥想-专注于压力、睡眠和放手等主题-并在每一章的最后以指导冥想结束。

作者安迪·普迪迪科姆(Andy Puddicombe) 曾是一名佛教僧侣，也是广受全球喜爱的Headspace冥想应用的联合创始人。本短片中由他带领观众了解冥想背后的好处和科学。

将本视频文稿化是为了多次观看不断学习，以将冥想正念融入到生活中，发布出来以飨想要学习冥想正念的同学，本文为该视频第2集。

冥想正念指南 - 如何放下

Headspace Guide to Meditation - How To Get Started

Part 01

你的人生中，有哪件事让你无法释怀？

也许是你和他人的一次对话、争吵

也许是你对他人的憧憬

或是对你生活中

正在发生的某件事感到沮丧

也许甚至是在某一段时间后，你对某个物品产生了依赖

我们很容易抓住一些事不放手，最终我们会感到很沉重

我们会感到压抑，就好像在生活中背负着重担

今天我们将探索如何放下

我会给你介绍一种冥想技巧

一种视觉化冥想技巧，以帮助你减轻一些人生中的负担

Part 02

在我决定做僧徒后

我必须要经历一个过程

我不仅仅是要飞往另一个国家成为僧徒

我还要放下我的人生

这不光要我放下所有的物品

还要放下自己的成长环境

甚至放弃我的头发

但我觉得真正让我惊讶的是

我本以为自己远行，会放开忙碌的思绪

我以为自己会放下

我经历过的所有艰辛情感

很快我就意识到要放下我脑中的思绪

并不是那么容易

即使我坐在寺院里，四周环绕着喜马拉雅山的美景

身旁有全世界最好的师父

我依然思绪不断，它总是在脑后徘徊

大多数人都是这样对吗？大部分时间里，我们的思绪非常忙乱

就像一只猴子跳来跳去，永不停歇

从来都不会停下休息

我觉得正因如此，我们总会觉得很累

我们会经常感到不堪重负

我们可能不清楚该如何体会休息与放松的感觉

因此这种情况下，我们会经常试图想办法解决这个问题

因此本质上我们会利用猴子，并且试图去掌控这只猴子

所以我们需要找到一个放下的方式

不光是在生活中创建一个有益于让我们放松的环境

在内心里，我们也要了解如何在心中寻求放松

我们需要创建一个环境

以让我们自然而然地放下

我在寺院的一位师父向我做了解释

他说：“想象一片蓝天，蓝天就是你的脑海，这片蓝天永远都在那里，当然，有时候这片天空会有阴云，这些云就是我们的思绪，我们也许因此看不到蓝天。”

实际上，我们也许会在人生中经历很长一段时间天空中布满了阴云

以至于我们甚至忘记了蓝天的模样

但这并不代表蓝天离开了

一旦我们开始用这种方式看待大脑

我们就创建了一个环境

能够让思绪的阴云散开

这样我们就能拥有更多的蓝天

你无需去任何地方寻找它

它一直就在那里

一开始，视觉化冥想似乎有些难做到

但我们面对的难点

通常是我们如何去做到

而不是这个技巧本身

好消息是这其实是一种很容易学的技巧

在这个特别的技巧中，我们要去想象

一团暖光从头顶出现，一直飘向全身

我们在练习时，可能会想

我必须要做对才行

我们必须要在脑海中想清楚

我们开始努力去想象，其实是把练习想得太复杂

我们会担心：“这团光是很小一团，还是很大一团它应该是圆型还是方形？”

于是我们开始妨碍自己

所以这次练习，我们会采取不同的方法

现在花一点时间，想象一下你真正喜欢的地方

在你脑海中想象一下那个地方

也许可以想象出彩色、形状

也可以想象出声音、气味

我的猜想是

现在你的脑海中，能自然地呈现出这个画面

你可以轻松看到，对吗？

你甚至无需做任何努力

就可以将这个画面保留在脑海中几秒

所以这种轻缓、放松的方式

对视觉化冥想的效果很好

所以请记住，你不需要做任何努力

不要太过关注画面的清晰度

而是更多地关注，它能给冥想带来的感受

很快这个画面就会自然而然地变得更加清晰

我们冥想的越频繁，我们就越能适应

我们不仅在冥想中获得益处

这些益处还能继续影响到我们的生活中

这其实是有科学依据的

我们冥想时，大脑有一部分结构在变化

在一项很棒的研究中，哈佛大学的萨拉拉扎尔博士

展示了在仅仅练习冥想八周后

我们大脑中与学习及记忆有关的区域会出现物理变化

大脑中的这些部分会增加，而焦虑和压力相关部分会减少

萨拉向我们展示了在仅仅练习八周冥想后大脑就会出现显著变化

当然如果我们不继续练习

也许就无法继续体会到这些益处

但能够了解到，冥想不仅能带来心里变化

还能带来物理变化，这一点很有趣

好了，现在该来一起实践了

我会在冥想过程中指导你

所以同往常一样，花一点时间

确保自己处在一个舒适的环境中你可以决定要怎样做冥想

躺着或是坐着，双眼睁开或闭合

只要你感觉最自然最舒适就好

在让你自己舒适下来的同时

记住你的大脑会不断思考

如果出现了什么想法，不要沮丧

思维不断游走是正常的

我们唯一要做的就是察觉到思绪游走时

我们只需轻轻将注意力转回到专注点

今天的专注点就是脑海中的这个画面

你越努力，你在练习中就越不会放松

所以利用这个机会去真正地放松

在你的身体和脑海中，找到一种轻松的感觉

我们要找的东西已经在这里了

就是那个蓝天

我们不必试图改变大脑中的想法

这只是在为阴云退散创造条件

Part 03

我们首先保持双眼睁开，保持柔焦

察觉到自己身旁的空间

不要盯着任何东西，只是用柔焦去看周围的一切

双眼保持柔焦，做两次较大的深呼吸

用鼻子吸气

用嘴巴吸气

……

当你吸气时，察觉到肺部在扩展

身体充满空气

当你呼吸时

随着身体的肌肉变软，会感觉到轻松

然后再来一次，用鼻子吸气

用嘴巴吸气

……

如果你想的话，现在可以轻轻地闭上眼睛

……

先花一点时间

来享受这种停下来、暂停的感觉

不必做任何事情，不必去任何地方

只需要感受到

身体在下压，身体的重量在下压

压在你身下的座椅上或是地板上

同以往一样，用你的身体去感受身旁的空间

也许你会觉察到周围的声音

觉察到你对这些声音的抵抗

让一切来去自由

……

你坐在那里或躺在那里

可以去觉察身体今天的感受

甚至可以去观察身体的哪些部分

在抓住那一点点紧张感

身体哪些部分可以因放下而获益

……

花一点时间来觉察身体的呼吸

那种起伏变化的感觉

你不必做任何事

只需将注意力放在这里一小会儿

想象一下在你的头顶上

有一股温暖的阳光不断照下来

从上到下照向你的身体

一直照到你的脚和脚趾

我们要想象

这股阳光会填满身体

在它填满身体时

它会融化所有不适，所有压力

它会让身体轻松

让大脑放松，我们现在从脚趾开始

再次想象一下，那股阳光不断照过身体

填满脚趾

还有双脚

向上穿过脚踝，进入小腿部分

一旦你开始去想象，你会感觉像是真的发生了一样

有时候我们会觉察到

有时候思绪会游走

每次思绪游走时，我们只需慢慢把注意力…

拉回到想象中

那股阳光穿过整个身体，融化所有的压力

它开始照进大腿

肌肉开始放松

阳光继续向上

进入盆骨和腰部

所有肌肉中的任何紧张感

都在放松

融化在……那片阳光中

阳光继续照进腹部和后腰

那里的紧张感也开始融化

然后继续……

向上进入胸部和背部

所有的紧张感都在阳光下融化

直射的阳光仍然从头部上方照射进全身

慢慢洒下来，穿过肩膀

穿过双臂

向双手…和手指及拇指洒去

……

在阳光穿过双臂时，它会融化任何紧张感

身体会放下一切

……

阳光继续向下洒去，现在进入了…

脖子和嗓子部分

整个下颌都在放松

下颌、上颌、鼻子后方、眼镜后方

所有的紧张感

都在散去

直到阳光达头上最顶部

所以尽管整个身体

现在都充满了阳光

那种放松感、温暖感和空间感

我们依然继续想象

这种感觉还会持续

你可以将注意力从这个画面中转移

但继续保持这种感觉

然后将注意力转回到…

身体上转回到那种接触感上

转回到你周围的声音和空间中

## Part 03

在你准备好后，你可以轻轻地睁开双眼

但一如既往，花一点时间觉察身体的感觉

觉察在你冥想过几分钟后

你的大脑有什么感觉

希望你今天能感到更加轻松

能有一种放下的感觉

但如果没有的话，也别担心

这种练习

要花一些时间才能适应，才能越来越熟悉

即使你现在还什么都感觉不到

只需要了解，自己的大脑和思维中

已经开始发生真实的变化了

一如往常，冥想只会随着练习不断提高

所以请收看第三集，我们将一起探索感激之情

我们如何在生活中激发感恩之情

以及我们如何重新爱上生活

我们下期见

冥想正念指南–如何开始

2021-09-05T03:33:45+00:00

将本视频文稿化是为了多次观看不断学习，以将冥想正念融入到生活中，发布出来以飨想要学习冥想正念的同学，本文为该视频第1集。

冥想正念指南 - 如何开始

Headspace Guide to Meditation - How To Get Started

Part 1

我们的生活总是充满了扰乱人心、刺激精神的事情

但想象一下，如果有一种方法能够让节奏变慢

能够让大脑放松，让我们的身体释放那些压力呢

你上一次停下脚步，沉静下来

放下手机，不受任何纷扰，还记得是什么时候吗

你最后一次什么都不做又是何时

我是指真的什么都不做

Part 2

嗨我是安迪欢迎收看《Headspace 冥想正念指南》

我会做你的向导，带你一起探索大脑

了解冥想在生活中如何让我们受益

无论你之前做过冥想或者是个完全的新手

我都会全程指引你每一步

通过这一季的内容

我会向你介绍一系列的技巧

并为你解释每一个技巧，如何运用在生活的特定情景中

在每一集的最后，你会有机会实践这个技巧

在我的指导下练习冥想

我想让你了解到，冥想能够如何帮助你更感受当下

减少纷扰之心

它如何为生活带来更幸福的感受

并帮助我们，与我们最关心的人增强联系

所以你可能会问：“什么是冥想？”

其实冥想是个很简单的事情

它本质上是一种技能，一种训练我们大脑的方式

让我们拥有更平静、更清晰的思维

以及更放松的心态、身体及人生

你可以单独冥想、也可以和其他人一起冥想

本质上讲，我们只是定期地让自己

脱离生活几分钟，或者更久一些

暂停生活的脚步，训练大脑

让它更加感受当下，减轻纷扰

Part 3

在我大约十岁的时候，我第一次听说冥想

但直到我十几岁后期，甚至也许是二十几岁早期

冥想才对我的生活产生更大的影响

随着年龄的增长，我经历了一些逝亡

是和我很亲近的人

我那时不知道该如何面对

我发现自己被情绪压倒了

我发现自己的思绪总是很忙乱

我以为在某种程度上，我可以想办法摆脱这种境况

事实却证明我做不到

我需要更激进的方法才行

于是我决定放弃学位

转而去做佛教僧徒

我前往喜马拉雅

开启了多年的历程

我在不同国家的不同寺院里居住

在这段时期，我有幸得以…

根据众多不同的传统向一些大师学习

我希望，我能够与你们分享他们的智慧及见解

这样你们就不必前往喜马拉雅

你们就不必去做僧徒或尼姑

你们也不必重蹈我在旅途中犯下的错误

Part 4

我刚开始在寺院修行时

我以为冥想的目的是控制心智，是改变心智

以能够摆脱诸多思绪和干扰

但我师父用一种不同的方式向我解释

他说：“想象你自己坐在一条马路旁，现在你要做的就是坐在那里看车来车往，那些车就是你的思绪”

听起来挺简单的吧

但实际去做的时候

我们总会因车流来往

而感到有些不安

于是我们会跑向马路试图阻止汽车

或者我们甚至会去追逐一些车

而忘记我们本该只是坐在那里而已

当然这些奔跑追逐

只会给我们的大脑添加不安的感觉

所以训练大脑

只是为了改变我们与那些过往的想法和感情之前的关系

是为了学习如何从更多角度看待它们

这样做之后，我们自然而然就会找到一个祥和之地

我们有时候会不会

忘记练习的目的转而分神呢

当然会

但只要我们回想起来，我们就会回来

回到马路边的旁边，观望车流来往

身体和大脑也会得到完全的放松

修炼平静之心的其中一个基本技巧

叫做“专注冥想”

在训练大脑时，设定一个聚焦注意力的点是十分重要的

它可以是一个视觉化的想象、一个问题、一个词语、短句

甚至可以是外部的某个东西

最常见的关注点就是「呼吸」

有了这样一个专注冥想的地方

我们就想有了船锚

当我们突然意识到思绪飘走时，可以通过它找回注意力

当然，我们的思绪总会时不时游走

我们将注意力放在例如呼吸这类的事情上

并不是说我们要逃避思想

或将外部世界拒之门外

我们是在学习识别

何时会陷入这类的思绪

或何时会分神

然后轻轻的跳出这个思绪，放下它

再回到那个平静、专注冥想的地方

专注冥想这样的技巧，并不是最近才出现的

它们是几千年的佛教传统的一部分

在这些修行中

传承了一种师父将所学之技

不断传给弟子的传统

而我也有幸获得了这样的经历

现在我刚到非常荣幸，能够将所学的东西与你们分享

所以我希望，在你做冥想时

你能够对冥想有信心

相信它是经过科学研究，并传承了几千年的技能

将注意力专注在呼吸上

这种技巧是从将近三千年前的技能发展而来的

当然，那些已练习冥想多年的人

已经感受到了益处

但并不一定能够解释

他们身体上所发生的变化

但在过去的20年里，科学家已经能够做到了

通过严格的测量

找出冥想对心跳、血压及压力值的影响

甚至对大脑结构的影响

我做僧徒的时候，根本不了解

还有一种叫做 “神经可塑性” 的概念

即大脑是灵活可塑的，它可以变化

科学家实际上已亲眼见证

他们让僧侣做功能性核磁共振扫描

然后见证了在冥想前

冥想过程中和结束后，大脑发生了哪些变化

现在我们发现坐下冥想

和我们去健身房锻炼类似

在健身房里，我们锻炼肌肉

肌肉会变得更厚实、强壮

同理，大脑中负责感受幸福与安康的部分

这部分会获得更多的血流

它也会变得越来越厚实、强壮

然后我们会在那里待上更久

冥想已经被证实

能够减少压力、沮丧感、抑郁和疼痛

还可以提升幸福感

提高耐心、拓宽心胸、增强同情心

所以即使你坐在那里，感觉好像什么都没发生

你还是可以相信

冥想和正念

可以改变我们的生活

Part 5

体验冥想的最佳方式就是去实践

而不是纸上谈兵

我会为你提供向导，所以即使你以前从没做过这种练习

也不必担心

记住，有时候你会感觉冥想很容易

有时候会感觉有些难

诀窍就是每次练习时，不管什么感觉

都随遇而安

最重要的，是你要让自己待在一个舒适的地方

不论是坐着还是躺着都可以

你绝对不必盘腿坐在地板上

你可以独自练习，也可以和其他人一起

准备好了吗

我们来试试看吧

Part 6

首先我们保持双眼睁开

保持双眼柔焦，察觉到自己身旁的空间

双眼保持这种柔焦我们做两次较大的深呼吸

用鼻子吸气

用嘴巴呼气

当你用鼻子吸气时，察觉到肺部充满空气，身体在扩展

当你呼气时，察觉到呼气的同时

身体开始放松

再来一次，用鼻子吸气

这一次

在你用嘴巴呼气时，如果你愿意

可以轻轻地闭上眼睛

在你做其他事之前，先花一点时间

珍惜并享受这种停下来的感觉

这种不必做任何事，不必去任何地方的感觉

察觉到重量感…

身体的重量渐渐压在你身下的座椅或是地板上

然后花的时间觉察到你的周围

不是四处张望

只是去觉察不同的声音，而不是将它们隔绝

也许你会觉察到对这些声音的抵抗

只需在这个空间里让自己舒适

你也可以利用这个机会，去觉察身体的感受

很多时候，我们并不会花时间觉察身体的感受

身体有没有沉重或者轻盈的感觉

有没有躁动或者沉静的感觉

在你注意身体的感觉时

你可以开始更清晰地

去感受身体里呼吸的律动

你不需要用任何特殊的方式呼吸

只需要让身体自己去做就好

有些人会在胸口、肩膀处感觉到呼吸的律动

有些人会在横膈膜处或腹部感受到

如果你感觉不到任何律动，那么轻轻的把手放在腹部

这样就能感受到那种起伏变化的感觉

让大脑平静下来

Part 7

再说一次

思绪总会出现，思维会不断游走

在觉察到思绪游走时

只需轻轻将注意力转回到呼吸

一开始

我们只会觉察到呼吸的大概情况

也许你会开始觉察呼吸是长是短

是深是浅

我们也许会发现，自己在思考练习本身或其他事情

你只需意识到，这种情况发生时，放下这些思绪

然后注意力再次回到呼吸上

为了让你更容易专注于呼吸

我们会在呼吸时开始数数

当你感觉身体吸气而起时，数一

呼气而落时，数二

然后在脑海里默默地数三、四一直数到十

数到十后停下来，然后再次从一开始

Part 8

记住，无需做任何努力

身体知道该怎样呼吸

不需要参与到任何思考中，只需要让思绪来去自如

在这些时刻里

当你意识到思绪游走时

只需轻轻地将注意力转回到呼吸上

我们继续把保持这种感受

将这种起伏变化的感觉

再延长一小会儿

……

然后现在这一刻

我想请你放下

所有的注意力，甚至对呼吸的专注

在这几秒钟内，任由你的大脑

做它想做的任何事

如果它一直想去思考，你现在可以让它思考

任由你的大脑做它想做的任何事

……

现在轻轻地把注意力转回到身体上

回到那种重量感上

那种与你身下的座椅

或地板的接触感上

也许可以再次觉察到你身边的声音

在你准备好后，你可以轻轻地…

睁开双眼

在你移动前

花一点时间，觉察你的身体及你的大脑

有什么感觉

在冥想后经常回顾这些感受

我们就越能够记住我们再生活中

有多么需要停下来，花时间为自己进行调整

如果你能抵制住冲动

不去分析发生了什么

有什么好处或其他任何事

只需了解，只要你做了冥想

就会产生不同

那么我最后一个建议

就是在你起身前

有意地提醒自己

将这份心态带入到你的生活中

能够花一些时间，闭上双眼

安静、沉静下来，这是很棒的

这样做确实会有好处

但我感觉冥想真正的益处

是我们能把这份心态带入到日常生活中

带入到我们的人际关系、生活经历中

所以在你起身活动前，一定要有意识的这样做

Part 9

希望你能收看第二集

我们将一起探索如何放下包袱

我们脑海中的思想包袱

以及我们如何在生活中让心胸更宽阔

让自己更放松

到时候我会为你介绍一种新的技巧

期待我们下期再见

修订记录

创建于 2021-09-05（于上海）

Gremlin图遍历语言简明文档

2021-08-21T04:34:45+00:00

最近一年对JanusGraph接触较多，故经常使用Gremlin图遍历语言，对其常见语法做简要整理，备忘。

Gremlin语句基础用法介绍

基础语法

V()：查询顶点，一般作为图查询的第1步，后面可以续接的语句种类繁多。例：g.V()，g.V(‘v_id’)，查询所有点和特定点；
E()：查询边，一般作为图查询的第1步，后面可以续接的语句种类繁多；
id()：获取顶点、边的id。例：g.V().id()，查询所有顶点的id；
label()：获取顶点、边的 label。例：g.V().label()，可查询所有顶点的label。
key()/values()：获取属性的key/value的值。
properties()：获取顶点、边的属性；可以和 key()、value()搭配使用，以获取属性的名称或值。例：g.V().properties(‘name’)，查询所有顶点的 name 属性；
valueMap()：获取顶点、边的属性，以Map的形式体现，和properties()比较像；
values()：获取顶点、边的属性值。例：g.V().values() 等于 g.V().properties().value()

遍历

以“顶点”为基准

out(label)：根据指定的Edge Label来访问【顶点的OUT方向邻接点】（零个Edge Label，代表所有类型边；也可为一个或多个Edge Label，代表任意给定Edge Label的边，下同）；
in(label)：根据指定的Edge Label来访问【顶点的IN方向邻接点】；
both(label)：根据指定的Edge Label来访问【顶点的双向邻接点】；
outE(label)：根据指定的Edge Label来访问【顶点的OUT方向邻接边】；
inE(label)：根据指定的Edge Label来访问【顶点的IN方向邻接边】；
bothE(label)：根据指定的Edge Label来访问【顶点的双向邻接边】；

以“边”为基准

outV()：访问【边的出顶点】，出顶点是指【边的起始顶点】；
inV()：访问【边的入顶点】，入顶点是指【边的目标顶点】，箭头指向的顶点；
bothV()：访问【边的双向顶点】；
otherV()：访问【边的伙伴顶点】，即相对于基准顶点而言的另一端的顶点；

过滤

has语句是filter类型语句的代表，能够以顶点和边的属性作为过滤条件，决定哪些对象可以通过。常用的有下面几种:

has(key,value): 通过属性的名字和值来过滤顶点或边；
has(label, key, value): 通过label和属性的名字和值过滤顶点和边；
has(key,predicate): 通过对指定属性用条件过滤顶点和边，例：g.V().has(‘age’, gt(20))，可得到年龄大于20的顶点； predicate（断言）
hasLabel(labels…): 通过 label 来过滤顶点或边，满足label列表中一个即可通过；
hasId(ids…): 通过 id 来过滤顶点或者边，满足id列表中的一个即可通过；
hasKey(keys…): 通过 properties 中的若干 key 过滤顶点或边；
hasValue(values…): 通过 properties 中的若干 value 过滤顶点或边；
has(key): properties 中存在 key 这个属性则通过，等价hasKey(key)；
hasNot(key): 和 has(key) 相反；

路径

path()：获取当前遍历过的所有路径；
simplePath()：过滤掉路径中含有环路的对象，只保留路径中不含有环路的对象；
cyclicPath()：过滤掉路径中不含有环路的对象，只保留路径中含有环路的对象。

迭代

repeat()：指定要重复执行的语句；
times()：指定要重复执行的次数，如执行3次；
until()：指定循环终止的条件，如一直找到某个名字的朋友为止；
emit()：指定循环语句的执行过程中收集数据的条件，每一步的结果只要符合条件则被收集，不指定条件时收集所有结果；
loops()：当前循环的次数，可用于控制最大循环次数等，如最多执行3次。
repeat() 和 until() 的位置不同，决定了不同的循环效果：
repeat() + until()：等同 do-while；
until() + repeat()：等同 while-do。
repeat() 和 emit() 的位置不同，决定了不同的循环效果：
repeat() + emit()：先执行后收集；
emit() + repeat()：表示先收集再执行。

排序

order()
order().by()

逻辑

is()：可以接受一个对象（能判断相等）或一个判断语句（如：P.gt()、P.lt()、P.inside()等），当接受的是对象时，原遍历器中的元素必须与对象相等才会保留；当接受的是判断语句时，原遍历器中的元素满足判断才会保留，其实接受一个对象相当于P.eq()；
and()：可以接受任意数量的遍历器（traversal），原遍历器中的元素，只有在每个新遍历器中都能生成至少一个输出的情况下才会保留，相当于过滤器组合的与条件；
or()：可以接受任意数量的遍历器（traversal），原遍历器中的元素，只要在全部新遍历器中能生成至少一个输出的情况下就会保留，相当于过滤器组合的或条件；
not()：仅能接受一个遍历器（traversal），原遍历器中的元素，在新遍历器中能生成输出时会被移除，不能生成输出时则会保留，相当于过滤器的非条件。

统计

sum()：将 traversal 中的所有的数字求和；
max()：对 traversal 中的所有的数字求最大值；
min()：对 traversal 中的所有的数字求最小值；
mean()：将 traversal 中的所有的数字求均值；
count()：统计 traversal 中 item 总数。

常用Gremlin语句详解

查询所有点，但限制点的返回数量为100，也可以使用range(x, y)的算子，返回区间内的点数量

g.V().limit(100)

查询点的label值为’software’的点

g.V().hasLabel('software') # label为点类型名称，如：“员工”、“客户”，例：g.V().hasLabel('员工') ；g.V().hasLabel('账户','员工')

查询id为’11’的点

g.V('11')

g.V().id() #查询所有点的janusGraph生成的点id #12312

查询id为’8392’的点属性

g.V('8392').properties()

g.V('8392').valueMap()

查询账户点中卡账号属性为’6217002430020910004’的OUT方向邻接边

g.V().has('账户','卡账号','6217002430020910004').outE().limit(20)

查询账户点中卡账号属性为’6217002430020910004’的IN方向邻接边

g.V().has('账户','卡账号','6217002430020910004').inE().limit(20)

查询账户点中卡账号属性为’6217002430020910004’的双向邻接边

g.V().has('账户','卡账号','6217002430020910004').bothE().limit(20)

g.V().hasLabel('person') // lable 等于 person 的所有顶点；

g.V().has('age',inside(20,30)).values('age') // 所有年龄在20（含）~30（不含）之间的顶点；

g.V().has('age',outside(20,30)).values('age') // 所有年龄不在20（含）~30（不含）之间的顶点；

g.V().has('name',within('josh','marko')).valueMap() // name 是'josh'或'marko'的顶点的属性；

g.V().has('name',without('josh','marko')).valueMap() // name 不是'josh'或'marko'的顶点的属性；

g.V().has('name',not(within('josh','marko'))).valueMap() // 同上,用not修饰within来生成without语义

g.V().properties().hasKey('age').value() // age 这个属性的所有 value

g.V().hasNot('age').values('name') // 找到所有不含age属性的顶点，并且获取他们的name

g.V().has('账户','卡账号','6217002430020910004').bothE().bothV().bothE().limit(20)

g.V().has('账户','卡账号','6217002430020910004').both().both().bothE().limit(20)

g.V().has('账户','卡账号','6217002430020910004').both().both().bothE().hasLabel('转账交易').has('资金交易总金额',within('2342353')).limit(100)

g.V(602128).bothE().where(hasLabel('家庭地址').or().hasLabel('家庭电话')).bothV().dedup().has('座机号码',is('021-7625532')).valueMap()

查询过滤某个下一层点边的语法结构

g.V(16520).bothE().where(has().and().has().or().has()).otherV().hasLabel().where(has().and().has().or().has())

where()中可以使用如下条件

g.V().has('age',inside(20,30)) // 所有年龄在20（含）~30（不含）之间的顶点；

g.V().has('age',outside(20,30)) // 所有年龄不在20（含）~30（不含）之间的顶点；

g.V().has('name',within('josh','marko')) // name 是'josh'或'marko'的顶点的属性；

g.V().has('name',without('josh','marko')) // name 不是'josh'或'marko'的顶点的属性；

g.V().has('name',not(within('josh','marko')))// 同上

g.V().has('name',is('josh'))

抽象示例

g.V(16520).bothE('edgeLabel1','edgeLabel2').where(has('edgeProp1',eq(edgeValue1)).and().has('edgeProp2',eq(edgeValue2)).or().has('edgeProp3',eq(edgeValue3))).otherV().hasLabel('vertexLabel1','vertexLabel2').where(has('vertexProp1',eq(vertexValue1)).and().has('vertexProp2',eq(vertexValue2)).or().has('vertexProp3',eq(vertexValue3)))

实际示例

g.V(16520).bothE('员工管辖客户','员工本人行内账户','关联关系','转账交易').where(has('资金交易总金额',eq(12124))).otherV().hasLabel('账户','账户').where(has('卡账号','6217002430020910014'))

参考文档

[1] http://tinkerpop-gremlin.cn/

知识图谱之图解图算法

2020-12-14T12:14:45+00:00

最近在做知识图谱平台，构建好图谱后，要在图谱上利用图算法进行分析，所以平台中需要嵌入不同的图算法，以满足不同场景下的图分析需求，本文主要分类介绍各种图算法。

为什么要用图算法

图算法有助于我们理解关联数据。理解网络及其内部联系可以为洞察和创新提供不可思议的潜力。

图算法特别适用于理解结构和揭示高度关联的数据集中模式。目前，大数据汇集、混合和动态更新的需求非常强烈，图算法有助于体现数据的关联性和交互性，针对关系进行更复杂的分析，并可以为AI提供丰富的上下文信息。

随着数据间的联系越来越紧密，理解数据之间的依赖关系也就越来越重要。

路径查找算法

路径是图算法和图分析的基础，如：查找最短路径是使用图算法执行非常频繁的任务，最短路径是跳数最少或权重最小的遍历路径。如果图是有向的，它就是指两个节点之间关系方向所允许的最短路径。

广度优先搜索算法

首先访问最邻近的节点

深度优先搜索算法

先沿着各分支进行搜索

最短路径算法

所有点对最短路径算法

单源最短路径算法

最小生成树算法

随机游走算法

中心性算法

中心性的要点就是了解网络中哪个节点更重要，什么是“重要”，因此我们需要创建不同类型的中心性算法来满足不同场景下的需求。

度中心性算法

度中心性算法计算节点的输入关系数和输出关系数，查找图中受欢迎的节点。节点的度是节点拥有的直接关系数，可按入度和出度两种指标计算。

度中心性的可视化

接近中心性算法

中间中心性算法

中间中心性算法检测节点对图中信息流或资源的影响程度，通常用于查找将图的一部分与另一部分桥接的节点。

中间中心性算法计算连通图中每对节点之间的最短（加权）路径。每个节点的分值根据通过该点的最短路径数量确定。通过节点的最短路径数量越多，其得分就越高。

在某些场景下，最关键的要素并不是拥有绝对权威的或最高地位的要素。而某些中间人将各个群体联系起来，或者说中间人对资源或信息流的控制权最大。

中枢节点位于两个节点之间的每条最短路径上。创建更多最短路径可以减少中心节点的数量，可用于降低风险等场景。

PageRank算法

PageRank算法可能是最著名的中心性算法，用来度量节点的传递性（或方向性）影响。

PageRank算法是以Google联合创始人Larry Page的姓氏命名的，Larry Page创建PageRank算法的初衷是在谷歌搜索结果中对网站进行评级。其基本假设是：一个网页如果有更多或更有影响力的输入链接，就更有可能是可信来源。PageRank算法度量节点输入关系的数量和质量，以此估计该节点的重要性。在网络中，如果节点拥有的来自其他有影响力的节点的输入关系越多，那么它就越有可能在网络中占据主导地位。

前面几种中心性算法都是度量节点的直接影响，PageRank算法则考虑节点的邻近点影响，及其临节点的邻节点的影响。例如：

与拥有一大堆影响力小的朋友相比，拥有几个很有影响力的朋友能让人更有影响力。

PageRank算法的计算方法有两种：

将一个节点的等级迭代分散到其邻节点。
随机遍历图并计算每个节点在遍历过程中被名中的频率。

社团发现算法

连通性是图论的核心概念之一，它支持复杂网络分析，如：社团发现。现实世界中的大多数网络或多或少呈现出独立子图这样的子结构。识别社团对于评价群体行为和突发现象有不可或缺的作用。

识别社团的一般原则: 社团成员在群组内部的关系要多于其与群组外部节点的关系。识别这些有关联关系的集合可以揭示节点簇、孤立群组和网络结构。

连通度用于发现社团并量化分组的质量。评估图中不同类型的社团有助于揭示图的结构，如：中心结构和层级结构，也有助于了解某个群组和吸引和排斥其他群组的倾向。

度量算法（面向整体关系稠密度，用于衡量图的结构特性）

三角形计数算法

三角计数算法（Triangle Count）统计图中三角形个数。三角形越多，代表图中节点关联程度越高，组织关系越严密。

聚类系数分量

聚类系数表示一个图中节点聚集程度的系数。在现实的网络中，尤其是在特定的网络中，由于相对高密度连接点的关系，节点总是趋向于建立一组严密的组织关系。聚类系数算法（Cluster Coeffcient）用于计算图中节点的聚集程度。

分量算法（用于发现连通簇）

强连通分量算法

在如上有向图中，如果两个顶点A、B间，有一条从B到A的有向路径，同时还有一条从A到B的有向路径，则称A、B两个顶点强连通。

如果有向图中的每两个顶点都强连通，称该有向图是一个强连通图。有向非强连通图的极大强连通子图，称为强连通分量。

连通分量算法

标签传播算法（可基于节点标签快速推断群组）

标签传播算发是一种基于图的半监督学习方法，基本思路是用已标记节点的标签信息去预测未标记节点的标签信息。基本过程如下：

为每个节点随机的指定一个自己特有的标签；
逐轮刷新所有节点的标签，直到所有节点的标签不再发生变化为止。对于每一轮刷新，节点标签的刷新规则如下：

对于某一个节点，考察其所有邻居节点的标签，并进行统计，将出现个数最多的那个标签赋值给当前节点。当个数最多的标签不唯一时，随机选择一个标签赋值给当前节点。

在标签传播算法中，节点的标签更新通常有同步更新和异步更新两种方法。同步更新是指，节点x在t时刻的更新是基于邻接节点在t-1时刻的标签。异步更新是指，节点x在t时刻更新时，其部分邻接节点是t时刻更新的标签，还有部分的邻接节点是t-1时刻更新的标签。LPA算法在标签传播过程中采用的是同步更新，研究者们发现同步更新应用在二分结构网络中，容易出现标签震荡的现象。因此，之后的研究者大多采用异步更新策略来避免这种现象的出现。

Louvain模块度算法（用于研究分组的质量和层级结构）

反欺诈在全流程信贷中的关键指标

2020-11-22T18:34:00+00:00

BobinSun.蛋总

ToB-LLMs的三点思考：应用发展、技术路径、平台工具

ToB-LLMs：应用发展、技术路径、平台工具

LLMs应用场景变化趋势

LLMs应用技术迭代路线

LLMs应用平台工具设计实现路径

最后

大模型应用方案升级实践与思考

大模型应用方案升级实践与思考

应用升级之路：Prompt、RAG、Copilot、Agent

Prompt引导输出

RAG信息增强

Agent与SOP式工作流

单体Agent和群体Agent

ToC与ToB的应用展望

Palantir，硅谷创业新黑帮？

Palantir，硅谷创业新黑帮？

Paypal创业黑帮

Palantir创业新黑帮

人才招聘

能力培养

业务锤炼

曾国藩的传帮带

求才

观察

培养

最后

推荐阅读

参考资料

图构建：领域本体设计原则与动态本体

领域本体是什么

设计本体的意义

如何设计领域本体

领域本体设计原则

本体版本管理

Palantir 动态本体

总结

推荐阅读

参考文献

思考总结：领域知识图谱平台构建与业务应用

图谱平台简要介绍

图谱平台搭建背景

图谱平台定义

图谱平台建设目标

图谱平台业务目标

领域图谱平台应用方法论

业务理解

本体设计

关键数据分析

数据映射

数据入图

图可视化

图分析/图挖掘

图指标/图模型

图输出方式

数据处理能力

入图数据处理能力

非结构化数据处理能力

图谱平台应用展望

功能趋势

成本趋势

行业趋势

冥想正念指南–如何放下

冥想正念指南 - 如何放下

Part 01

Part 02

Part 03

冥想正念指南–如何开始

将本视频文稿化是为了多次观看不断学习，以将冥想正念融入到生活中，发布出来以飨想要学习冥想正念的同学，本文为该视频第1集。

冥想正念指南 - 如何开始

Part 1

Part 2

Part 3

Part 4

Part 5

Part 6

Part 7

Part 8

Part 9

修订记录