NEW YORK, NY / ACCESSWIRE / April 25, 2024 / Innodata Inc. (NASDAQ:INOD), a leading data engineering company, today announced that it has released an open-source LLM Evaluation Toolkit, together with a repository of 14 semi-synthetic and human-crafted evaluation datasets, that enterprises can utilize for evaluating the safety of their Large Language Models (LLMs) in the context of enterprise tasks.
Using the toolkit and the datasets, data scientists can automatically test the safety of underlying LLMs across multiple harm categories simultaneously. By identifying the precise input conditions that generate problematic outputs, developers can understand how their AI systems respond to a variety of prompts and can identify remedial fine-tuning required to align the systems to the desired outcomes. Innodata encourages enterprise LLM developers to begin utilizing the toolkit and the published data sets as-is. Innodata expects a commercial version of the toolkit and more extensive, continually-updated benchmarking datasets to become available later this year.
Together with the release of the toolkit and the datasets, Innodata published its underlying research around its methods for benchmarking LLM safety. In the paper, Innodata shares the reproduceable results it achieved using the toolkit to benchmark Llama2, Mistral, Gemma, and GPT for factuality, toxicity, bias, and hallucination propensity.
The toolkit, the datasets, and the research are available on GitHub at
Innodata began working on trust and safety for one of its Big Tech customers in Q4-2023. In Q1-2024, Innodata won two additional engagements for LLM safety and evaluation - one for a hyperscaler's own foundation models and one for an enterprise customer of the hyperscaler through Innodata's white label program with the hyperscaler. In addition, in Q1-2024, Innodata started pilots for a new customer and an existing customer around LLM trust and safety.
For additional information about Evaluation and Red Teaming in LLMs, see:
About Innodata
Innodata (NASDAQ:INOD) is a global data engineering company delivering the promise of AI to many of the world's most prestigious companies. We provide AI-enabled software platforms and managed services for AI data collection/annotation, AI digital transformation, and industry-specific business processes. Our low-code Innodata AI technology platform is at the core of our offerings. In every relationship, we honor our 30+ year legacy delivering the highest quality data and outstanding service to our customers. Visit to learn more.
Forward Looking Statements
This press release may contain certain forward-looking statements within the meaning of Section 21E of the Securities Exchange Act of 1934, as amended, and Section 27A of the Securities Act of 1933, as amended. These forward-looking statements include, without limitation, statements concerning our operations, economic performance, and financial condition. Words such as "project," "believe," "expect," "can," "continue," "could," "intend," "may," "should," "will," "anticipate," "indicate," "predict," "likely," "estimate," "plan," "potential," "possible," "promises," or the negatives thereof, and other similar expressions generally identify forward-looking statements.
These forward-looking statements are based on management's current expectations, assumptions and estimates and are subject to a number of risks and uncertainties, including, without limitation, impacts resulting from the continuing conflict between Russia and the Ukraine and Hamas' attack against Israel and the ensuing conflict; investments in large language models; that contracts may be terminated by customers; projected or committed volumes of work may not materialize; pipeline opportunities and customer discussions which may not materialize into work or expected volumes of work; the likelihood of continued development of the markets, particularly new and emerging markets, that our services support; the ability and willingness of our customers and prospective customers to execute business plans that give rise to requirements for our services; continuing reliance on project-based work in the Digital Data Solutions (DDS) segment and the primarily at-will nature of such contracts and the ability of these customers to reduce, delay or cancel projects; potential inability to replace projects that are completed, canceled or reduced; continuing DDS segment revenue concentration in a limited number of customers; our dependency on content providers in our Agility segment; the Company's ability to achieve revenue and growth targets; difficulty in integrating and deriving synergies from acquisitions, joint ventures and strategic investments; potential undiscovered liabilities of companies and businesses that we may acquire; potential impairment of the carrying value of goodwill and other acquired intangible assets of companies and businesses that we acquire; a continued downturn in or depressed market conditions; changes in external market factors; changes in our business or growth strategy; the emergence of new, or growth in existing competitors; various other competitive and technological factors; our use of and reliance on information technology systems, including potential security breaches, cyber-attacks, privacy breaches or data breaches that result in the unauthorized disclosure of consumer, customer, employee or Company information, or service interruptions; and other risks and uncertainties indicated from time to time in our filings with the Securities and Exchange Commission.
Our actual results could differ materially from the results referred to in forward-looking statements. Factors that could cause or contribute to such differences include, but are not limited to, the risks discussed in Part I, Item 1A. "Risk Factors," Part II, Item 7. "Management's Discussion and Analysis of Financial Condition and Results of Operations," and other parts of our Annual Report on Form 10-K, filed with the Securities and Exchange Commission on March 4, 2024, as updated or amended by our other filings that we may make with the Securities and Exchange Commission. In light of these risks and uncertainties, there can be no assurance that the results referred to in the forward-looking statements will occur, and you should not place undue reliance on these forward-looking statements. These forward-looking statements speak only as of the date hereof.
We undertake no obligation to update or review any guidance or other forward-looking statements, whether as a result of new information, future developments or otherwise, except as may be required by the U.S. federal securities laws.
Company Contact
Marcia Novero
Innodata Inc.
Mnovero@innodata.com
(201) 371-8015
SOURCE: Innodata Inc.
2024年4月25日、データエンジニアリングのリーディングカンパニーであるInnodata Inc.(NASDAQ:INOD)は、14の半合成とヒューマンクラフトの評価データセットのリポジトリとともに、オープンソースのLLM評価ツールキットをリリースしました。エンタープライズがエンタープライズタスクの文脈でLLMの安全性を評価するのに利用できます。
ツールキットとデータセットを使用することで、データサイエンティストは、基盤となるLLMの安全性を同時に複数の損害カテゴリーに対して自動的にテストできます。問題のある出力を生成する正確な入力条件を特定することで、開発者はAIシステムがさまざまなプロンプトにどのように応答するかを理解し、システムを望ましい結果に調整するために必要な修正を特定できます。Innodataは、LLMエンタープライズ開発者がツールキットと公開されたデータセットをそのまま利用し始めることを推奨しています。Innodataは、商用版のツールキットとより包括的で常に更新されるベンチマークデータセットが、今年後半に入手可能になることを期待しています。
ツールキットとデータセットをリリースすると同時に、Innodataは、LLM安全性のベンチマーク方法に関する基礎研究を公開しました。Innodataは、論文の中で、LLama2、Mistral、Gemma、およびGPTの信頼性、毒性、偏見、および幻覚の傾向をベンチマークテストするためにツールキットを使用して達成した再現可能な結果を共有しています。
ツールキット、データセット、および研究結果は、GitHubで利用できます。
Innodataは、2023年第4四半期にBig Techの1つのお客様の信頼性と安全性に取り組み始めました。2024年第1四半期に、Innodataは、LLMの信頼性と評価のための2つの追加のエンゲージメントを獲得しました。1つはハイパースケーラー自身のファウンデーションモデルのためのもので、もう1つはハイパースケーラーのホワイトレーベルプログラムを通じてハイパースケーラーのエンタープライズカスタマーのためのものです。さらに、Innodataは、LLMの信頼性と安全性に関する新しい顧客と既存の顧客のパイロットを開始しました。
LLMの評価とレッドチーミングに関する追加情報については、次を参照してください:
イノデータについて
Innodata(NASDAQ:INOD)は、AIの真の可能性を世界有数のブランド企業に提供しているグローバルデータエンジニアリングカンパニーです。 AIデータ収集/注釈、AIデジタル変革、業界固有のビジネスプロセスのためのAI対応ソフトウェアプラットフォームと管理サービスを提供しています。 低コードのInnodata AIテクノロジープラットフォームが私たちのオファリングの中心にあります。 弊社はすべての顧客に対して、最高品質のデータと優れたサービスを30年以上にわたって提供するという高い誇りを持っています。 詳細については、以下のサイトをご覧ください。
将来の見通しに関する声明
なし
これらの前向きな見通しには、管理の現在の期待、仮定、および推定に基づくものであり、継続的なロシアとウクライナの紛争とハマスによるイスラエル攻撃およびそれに続く紛争の影響を含む、多数のリスクと不確定要因にさらされています。LLMへの投資、顧客によって契約が終了される可能性がある点、見込まれるまたは契約済みの作業量が具体化しない点、仕事または予期される作業量につながらない可能性があるパイプラインの機会や顧客の議論、特に新興市場や急成長市場の開発の継続的な依存リスク、顧客や見込み顧客が当社のサービスの要件を満たすビジネスプランを実行する可能性と意欲、プロジェクトベースのDDSセグメントでのプロジェクトに基づく作業と、その契約の主に非常勤性質とその顧客がプロジェクトを削減、延期またはキャンセルする能力、完成した、キャンセルされた、または削減されたプロジェクトを置き換えることができない可能性のあるプロジェクト、DDSセグメントの収益集中リスク、敏捷セグメントのコンテンツプロバイダーへの依存、当社が収益および成長目標を達成する能力、買収、合弁事業、戦略的投資の統合とシナジーの引き出しが困難な点、当社が取得することがある企業やビジネスの潜在的な未発見の負債、当社が取得する企業やビジネスの商標価値やその他の有形固定資産の評価額を低下させる可能性がある点、持続的な不況または不振の市場環境、外部市場要因の変化、当社のビジネスまたは成長戦略の変化、新しい競合他社、または既存の競合他社の成長、その他の競争要因や技術要因、様々な競合他社または技術要因、サービスの中断、消費者、顧客、従業員、または会社の情報、またはサービス中断を引き起こす可能性がある情報技術システムへの使用と依存などが含まれます。
前向きな発言において言及される結果と実際の結果は異なる場合があります。その原因となる要因には、第一部の第1A項「リスクファクター」、第二部の第7項「財務状況及び業績に関する経営者による分析」、並びに2024年3月4日に証券取引委員会に提出された年次報告書10-Kのその他の部分に議論されるリスクが含まれ、証券取引委員会に提出される他の書類で更新または修正されるかもしれません。これらのリスクおよび不確実性を考慮すると、前向きな発言に言及される結果が発生することは保証されず、これらの前向きな発言に過度に依存するべきではありません。これらの前向きな発言は、ここでの日付に基づくものです。
私たちは、米国連邦証券法によって必要とされる場合を除き、いかなるガイダンスまたはその他の前向きな見通しについても、新しい情報、将来の開発、またはその他の理由により更新またはレビューする必要はありません。
会社の連絡先
Marcia Novero
Innodata Inc.
Mnovero@innodata.com
(201) 371-8015
ソース:イノデータ