株式会社ABEJA（总部：东京都港区；代表董事兼首席执行官：冈田洋介；以下简称 “ABEJA”）是由国家研究与开发公司新能源和工业技术开发组织（以下简称 “NEDO”）提出的 “后5G信息通信系统基础设施增强研发项目*1/后5G信息通信系统开发”（以下简称 “NEDO”）通过人类与人工智能的合作 “实现一个富裕的世界” 很高兴地宣布，“LLM” 已被选中。
ABEJA计划获得7亿日元的补助金，主要用于建造法学硕士所需的计算资源。
ABEJA进行日本法学硕士和外围技术（RAG*3，Agent*4）的研究和开发，目的是显著提高准确性和计算成本效益，这对于LLM的社会实施至关重要。
此外，我们将酌情披露已开发的LLM、源代码、开发知识等，以便我们可以促进LLM的利用，加速整个社会的人工智能技术创新，并为下一代研究人员和工程师的发展做出贡献。
此外，在我们的商业化过程中，我们计划将其与 “ABEJA LLM系列” 一起广泛提供，后者自2023年以来已安装在数字EMS “ABEJA平台” 上。该商业模式假设开源软件 (OSS) *5 采用分发模式*6，并计划为即将发布的 LLM 的使用提供必要的收费支持。
自2018年以来，ABEJA一直在推动LLM（一种生成式人工智能）的研发，自2023/3年起，“ABEJA LLM系列” 已安装在ABEJA平台上并提供给客户公司。目前，为了实现对客户公司的LLM的实施，我们已将支持范围扩大到更广泛的范围，并负责通过战略制定、业务流程构建和业务流程中的运营一直为客户提供支持，我们正在努力进一步扩展我们的服务，继续推进LLM的研发。
ABEJA最近已被采用，我们认为该项目是实现我们 “实现富裕世界” 管理理念的一项有意义的举措，将有助于加快LLM在整个社会的实施。
当前，世界各地的公司正在启动各种举措，目的是享受以LLM为中心的生成式人工智能所产生的巨大价值。实际上，在乐观的情景下，LLM的市场规模预计将迅速扩大，日本对话人工智能业务的市场规模预计将从2023财年的140亿日元增长到6905亿日元（平均年增长率165.0％，复合年增长率：2023-2027年）（资料来源：种子规划有限公司 “2023年对话人工智能业务的现状和未来前景”），同时也是基于ABEJA的预测假设市场规模为2000亿日元。
尽管预计LLM的利用将导致产业结构发生重大变化，但目前，使用LLM时大规模计算资源的消耗是不可避免的，因此，考虑到投资回报率，就会对应用范围进行限制，这是阻碍LLM社会实施的原因之一。此外，LLM 面临的典型问题是无法响应最新信息或更新信息的 “知识截止”，以及 “halcination”，后者生成不基于事实的不准确信息。这是因为LLM知识基于大量的 “现有” 数据，它基于LLM的独特特性，即 “甚至学习数据中存在的不完整性和错误信息”。为了提高LLM的准确性，必须消除包含不正确或有偏见信息的数据，并学习准确可靠的数据。作为一种应对方法，有 “微调”，即使用已经学习的LLM的新数据集进行额外的学习，但是每次都会消耗大量的计算资源，这既昂贵又耗时。出于这个原因，现实情况是它仅限于某些企业公司的应用程序。OpenAI在2023年宣布了 “GPT-3.5 Turbo” 的微调功能，但是可以处理的数据量仅限于4,096个令牌和50 MB以下的文件，因此在实用性方面存在问题。
“RAG（检索增强生成）” 是一种被视为有望解决当前此类问题的方法。RAG是一种将LLM与外部数据库和信息源（以下简称 “外部数据”）联系起来的技术，并允许LLM结合外部数据中的知识生成答案。只需替换外部数据，无需每次都进行微调，就可以执行与外部数据相关的高精度答案。此外，通过优化 “代理”，LLM将能够根据输入内容自主计划和执行必要的操作，例如使用API和工具。
ABEJA认为，通过RAG和优化代理提高准确性将提高计算成本性能，带来经济合理性和应用范围的可扩展性，并有力地促进LLM的社会实施。我们认为，目前正在使用的RAG还有技术进步的空间，我们将通过整合LLM和外围技术（RAG，Agent）的研究和开发，实现具有高度实用性的开创性方法。请注意，在LLM独立研发中，现有的开源LLM用作基准，目标是在发布时在所有JGLUE*7项目中获得最高分。
ABEJA正在考虑日本未来将在国际人工智能领域发挥重要作用，并在国际社会中建立信息处理技术的新标准。
ABEJA通过向社会提供通过研发获得的LLM、源代码、开发知识等，促进LLM的社会实施，其目的是增加使用生成式人工智能的公司和组织的数量，大幅加速社会中的AI技术创新，培养下一代研究人员和工程师，并努力实现ABEJA的企业理念 “实现一个宽敞的世界”。
业务概述
公开发行企业名称 | 后5G信息通信系统基础设施提升研究与开发项目/后5G信息通信系统开发 |
我们申请的企业名称 | 研究和开发广义法学硕士作为社会实施法学专业模型的基础 |
实施期 | 2024/2 到 2024/8 |
目的 | ・研究开发日本法学硕士及周边技术（RAG、Agent），着眼于LLM的社会实施的通用用途 ・披露通过研发获得的可交付成果（LLM、源代码、开发知识等），促进生成式人工智能的利用，加速社会人工智能技术创新，培养下一代研究人员和工程师 ・日本将在国际人工智能领域发挥重要作用，并在国际社会建立信息处理技术的新标准 |
概述 | ・作为专业化源泉的广义法学硕士研究与开发 -使用开源 LLM 作为基准在评估中获得最高分 -提高外围技术（RAG、Agent）的准确性并提高数据利用率 ・在社会实施方面，我们的目标是与自己的业务相关的发展，同时披露和提供一些模型和专有技术等可交付成果 -我们提供我们研究和开发的各种法学硕士和外围技术（RAG、Agent）以及我们目前提供的服务 -发布通过研发获得的可交付成果（源代码、模型、开发专有技术） |
NEDO 出版物详情 | 收养结果发布页面网址：https://www.nedo.go.jp/koubo/IT3_100304.html |
■ 总体概述图（图片）
■ 实施时间表
关于条款
※ | 条款 | 内容 |
1 | 后5G信息通信系统基础设施增强研发项目 | 一家开发核心技术的企业，旨在加强日本国内后5G信息通信系统的开发和制造基础设施。后5G信息通信系统表示与后5G兼容的通信系统，与第五代移动通信系统（5G）相比，具有进一步增强的功能，例如超低延迟和多个同步连接。https://www.meti.go.jp/policy/mono_info_service/joho/post5g/index.html |
2 | 哈哈 | 它是大型语言模型的缩写，大规模语言模型是生成式人工智能的领域之一。 |
3 | 抹布 | 检索增强生成的缩写。连接外部数据库和信息源的技术。通过利用这项技术，LLM将能够根据来自外部数据库和信息来源的知识生成高度准确的响应。 |
4 | 代理人 | 代理是一种使计划和执行自主行动成为可能的技术。通过使用这项技术，LLM可以自主做出决策，计划和执行行动，例如根据输入的内容使用API和工具。因此，可以使用学习数据中未包含的外部数据自主创建答案。 |
5 | 开源软件 (OSS) | 一个通用术语，指无论用户的目的如何，都可以免费使用、研究、重用、修改、扩展和重新分发源代码的软件。 |
6 | 分发模型 | 由 OSS 提供商或其他社区开发的一种商业模式，提供与包含 OSS 的模型所需的维护、错误、安全和其他更新相关的支持。ABEJA假设这种商业化采用 “红帽企业 Linux（RHEL）] 方法。 |
7 | JGLUE | 一组用于衡量日语一般语言理解能力的数据集。LLM 模型是从不同的角度进行评估的。 |
■ 关于株式会社ABEJA
ABEJA的管理理念是 “实现一个宽敞的世界”，并且正在开发 “数字平台业务”，该业务将基于 “ABEJA平台” 改变客户公司的核心业务流程，并继续实现业务利润增长。自2012年成立以来，我们一直在促进ABEJA平台的研发，到目前为止，我们已经在ABEJA平台上为不同行业和业务类别的300多家公司实现了数字化转型。此外，利用 “Human In the Loop” 等先进的专业知识和方法，我们实现了 “Human AI 协调”，这对于数字化转型至关重要，可以从战略上高效地转变核心客户运营，并且还在努力创新商业模式。
总部：东京都港区三田1-14 Bizflex 麻布十番二楼
成立时间：2012/9/10
代表：代表董事兼首席执行官冈田洋介
业务：数字平台业务