【ANNO-Navi】 効率的なAI開発のためのアノテーション代行サービスガイド » 知っておきたい アノテーションサービス選び方の基礎知識 » 精度・品質管理

精度・品質管理

アノテーションサービスの精度はどうやって見極める?

AIの普及とともに、数多くのアノテーションを代行するサービス会社ができ、最近ではAI開発を効率的に進めるために、アノテーションを外部委託する企業や研究機関が増えています。
アノテーションサービス会社を選ぶ時には目的とする精度や品質に対応できるかどうか、アノテーター(作業者)、品質管理方法、チェック体制などを確認することが重要なポイントとなります。

必要なアノテーションを明確にする

アノテーションにはセグメンテーション(領域抽出)、バウンディングボックス(物体検出)、データ分類などの色々な種類があるため、構築するAIシステムに必要なアノテーションは何か事前に明確にしておく必要があります。
動画、画像など、どのようなデータに対するアノテーション作業で、どんなタグ付けのルール(ラベルの種類や属性など)なのか、どのくらいの量のデータが必要なのかなどの要件についても明確にしておきましょう。

依頼したい要件に対応しているか

音声アノテーションを得意とする会社やデータ収集に強い会社など、さまざまなアノテーションサービス会社があります。これから開発するAIシステムに適したアノテーションサービスを提供しているかどうか、確認することも重要なポイントです。また、画像アノテーションに対応しているといってもさまざまな種類があります。要件に対応したアノテーションを依頼できるか、詳細に確認することも忘れないようにしましょう。

作業者や利用ツールをチェック

実際に作業するのはどのような作業者(アノテーター)か、どんなツールを使っているのか、案件にあった作業者がいるのかどうか確認しましょう。専門知識が必要なアノテーションの場合、専門家を含めたチームを編成しているような会社なら高品質な教師データの作成が可能となります。
効率的なアノテーションを行うために自社開発ツールや専用ツール利用しているところもあります。手作業で行うと時間がかる画像アノテーションでのピクセル単位の色分けもセグメンテーションツールなら迅速に行うことができます。

自動化では限界のある作業にも対応

ツールが苦手とする領域検出ではアノテーションに対応するために多くのヒューマンリソースが必要です。また手書き文字の読み取りなどは言語に習熟したヒューマンリソースも必要となります。アノテーションサービス会社の中には多くのクラウドワーカーを抱え、大量のアノテーションを実施できるところもあります。

品質管理の体制

アノテーション作業はAIが学習するための教師データを作成するため精度が重要です。低い精度の教師データでは精度の高いAIシステムは構築できません。アノテーションサービス会社を選ぶ際には検品などのチェック体制がしっかりしているかなど、品質管理への取り組みなども確認しましょう。

各社の取り組み事例

FastLabel(ファストラベル)

徹底した品質レベル

10万人のアノテーターから2段階リクルーティングで選抜された作業者がアノテーションを実施。作業漏れやデータ品質のばらつきをなくすために専門スタッフが提出データをレビューします。

参照元:FastLabel公式サイト(https://fastlabel.ai/annotation

ANNOTEQ(アノテック)

高精度な作業を実施

作業に応じて専任作業者とクラウドワーカーの工程を分解し、専任作業者が高難易度な作業や品質管理工程を受け持つことで高精度な作業を実施します。

品質管理ノウハウを活用

BPO事業者としての品質管理ノウハウを活用し高品質なサービスを提供します。 

参照元:ANNOTEQ公式サイト(https://annoteq.com/

ヒューマンサイエンス

高品質な教師データを作成

プロジェクト始動前に研修を受けたプロジェクトマネージャーがアノテーターを教育するので高品質な教師データが作成できます。

参照元:ヒューマンサイエンス公式サイト(https://www.science.co.jp/

アノテーションサービス選びの基礎知識について、こちらもチェック

重視するポイントで選ぶ
アノテーション代行サービス3選

重視するポイントで選ぶ
作業領域の広い
アノテーション代行サービス
3選

画像・動画・言語・音声などの作業領域が適応している代行サービスなら、 一通りのアノテーションは対応してくれますが、 より効率的に作業をすすめたいのであれば、 状況に応じた重視するポイントを把握しておくとよいでしょう
例えば、限られたAI開発予算のなかで大量のデータ処理が必要な場合は、コスパを重視して選ぶべきですし、 多種多様な言語や医療などの専門知識が必要なデータを処理する場合は、特殊な案件であっても代行可能な対応力を重視して選ぶべきです。
また、秘匿性の高い自社データを扱う場合は、信頼できる直接契約のアノテーターへ依頼ができるなどのセキュリティを重視する必要があるでしょう。
ここでは、画像・動画・言語・音声など、幅広い作業領域に対応できる代行サービスの中から、3つの重視するポイントに合ったサービスをご紹介します。

コストパフォーマンス
重視するなら

FastLabel
(ファストラベル)

ファストラベル公式サイトキャプチャ
引用元:FastLabel公式HP
(https://fastlabel.ai/annotation)
  • データ単位の従量課金制で画像アノテーションが2円(税不明)から利用可能
  • データ品質99.7%の納品実績(2023年10月時点)を実現する独自の品質チェックAIとのダブルチェック体制
品質の管理
アノテーター
教育の有無
責任者による
品質チェック

クラウドに対応

専門アノテーターによる
対応力を重視するなら

アッペンジャパン

アッペンジャパン株式会社公式サイトキャプチャ
引用元:アッペンジャパン公式HP
(https://appen.co.jp/what-we-do/)
  • 全世界にアノテーターが在籍しており、170か国、235言語に対応
  • 医師資格などの専門性の高い資格を持つアノテーターも在籍
品質の管理
アノテーター
教育の有無
責任者による
品質チェック

リモート/オンプレミスに対応

セキュリティの高さ
重視するなら

ヒューマンサイエンス

ヒューマンサイエンス公式サイトキャプチャ
引用元:ヒューマンサイエンス公式HP
(https://www.science.co.jp/annotation/index.html)
  • セキュリティルームの利用や依頼企業に常駐・オンサイトのみの作業も可能
  • クラウドワーカーではなく直接契約したアノテーターへの作業依頼も可能
品質の管理
アノテーター
教育の有無
責任者による
品質チェック

クラウド/オンサイトに対応

※選定条件
2023年10月6日調査時点において、「アノテーション サービス」でGoogle検索の表示上限までにでてきた39社の中で、 画像/動画/テキストといった幅広い領域のアノテーションに対応している企業の中から、以下の条件で3社をピックアップしています。
①FastLabel:公式HPに掲載されている料金が最も安いサービス(企業)(画像アノテーション2円(税不明)~)
②アッペンジャパン:公式HPに幅広い言語や専門分野に対応できるアノテータリソースの記述がある(企業)
③ヒューマンサイエンス:セキュリティに関する対策項目が最も多かったサービス(企業)

AI分野のアノテーションとは
わかりやすく解説