← Back to main page

E20. AI Agent Evaluation Engineer

Salary: 700 - 1200 百万円

NLP
Japanese only
IVRy

E20. AI Agent Evaluation Engineer

Description

対話型音声 AI プラットフォーム「アイブリー」に蓄積された通話データを、AI エージェントが検索・分析し、必要な情報を届け、顧客の業務改善に活かすプロダクト「IVRy Data Hub」において、その中核を成す Agentic Workflow の評価・改善を担うポジションです。ユーザーが自然言語で問いかけると、エージェントが関連するコミュニケーションデータを分析したうえで応答します。この一連のワークフローを遂行する上では、評価が必要不可欠です。評価タスクの設計やデータ構築などを通して Agentic Workflow の性能評価を行い、信頼性の高いエージェント開発に貢献していただきます。

直近チームで議論・実装しているのは次のようなテーマです。

  • 評価タスクの設計および評価基盤の開発
  • ベンチマークの作成
  • Agentic Workflow の監視
  • Tool 呼び出しや SQL クエリの発行など、Agentic Workflow における各種 trace の分析・改善
  • 特定のシナリオ下での各種モデル、 Agentic Workflow の実装ごとの動作シミュレーションとその分析
  • SkillやMemoryなど、「IVRy Data Hub」を構成するエージェントの能力を拡張する要素の有無による動作検証

LLM という非決定的なコンポーネントをもとに、ユーザーの多岐にわたる問いに対して適切に動く Agentic Workflow をつくるための基盤づくりを担っていただくポジションです。

募集背景

IVRyは「最高の技術をすべての人と企業に届ける」をMissionに掲げ、対話AIプラットフォームとしてマルチプロダクト展開を進めています。

本ポジションでは、「IVRy Data Hub」の中核を成すAIエージェントを対象に、評価タスクの設計や評価基盤の開発を通じて、Agentic Workflowの品質を継続的に評価・改善できる仕組みづくりを担います。

私たちが最も重視しているのは、プロダクトの目的やビジネス要件に照らして「何を良しとするか」を考え、それを測るための評価基準や検証方法を自ら設計できることです。非決定的に振る舞うLLMを前提に、評価結果を開発の意思決定につなげ、チーム全体で信頼性の高いエージェントの開発・改善を進められる状態をともにつくっていきたいと考えています。

募集要件

必須要件

  • Web アプリケーション・ API サーバの開発経験
  • ML モデルの訓練・改善や、 LLM を利用したアプリケーションの開発・改善などの実務経験
  • 要件が明確に定まっていない課題に対して、ステークホルダーと議論し、評価基準や検証方法を自ら設計できること

歓迎要件

  • LLM や Agentic Workflow の評価基盤を設計・構築した経験（DeepEval、Pydantic Evals など）
  • Agentic Workflow を実際のタスクや環境上で評価するための評価環境・実行基盤を設計・構築した経験（Harbor、Inspect AI など）
  • MLflow、Langfuse、Phoenix などを利用し、trace や本番ログを分析・改善した経験
  • NLP、検索、推薦などの領域における評価設計・性能改善の経験
  • LLM-as-a-Judge や人手評価、アノテーション設計などに関する経験・知見
  • 評価実験の設計や、複数のモデル・実装を比較して意思決定につなげた経験

求める人物像

  • 正解や評価方法が明確でない問題に対して、プロダクトの目的から「何を良しとするか」を考えられる方
  • Agent の失敗や想定外の挙動に興味を持ち、trace などの観測データを掘り下げながら原因を明らかにすることを楽しめる方
  • 特定の評価手法やフレームワークに固執せず、目的に応じて適切な評価方法を選択できる方
  • 論文や技術ブログから新しい評価手法を学び、実際のプロダクトデータを使った検証・実装まで進められる方
  • プロダクトやチームの目的とアラインしつつ、品質・コスト・開発速度などのトレードオフを判断できる方

お任せしたい主な業務

このポジションでは、評価タスクの設計から Agentic Workflow の評価を通じて、信頼性の高いエージェント開発に貢献していただきます。

現在の課題

  • 実ユースケースの広がりやエージェントの機能拡張に対して、Agentic Workflow の評価基盤の整備が追いついていない
  • 特定のユースケースでの評価はできつつあるものの、様々なシナリオを想定した評価・改善のサイクルが確立できていない
  • 最終的な回答だけではなく、Tool 呼び出しや SQL クエリ、途中の処理結果などを含む Agentic Workflow 全体について、失敗要因を切り分けて評価する仕組みが十分に整備できていない
  • LLM-as-a-Judge などの自動評価について、人手評価との整合性に加えて、コストやスピードも考慮しながら、改善の判断に利用できる状態をつくる必要がある

期待していること

  • 実際のユーザーの利用状況や今後のユースケース拡張に向けて、Agentic Workflow の性能を測るための評価タスク・評価データを設計する
  • 本番環境の trace や評価結果を分析し、Agentic Workflow の失敗パターンや改善ポイントを明らかにする
  • モデルや Agentic Workflow を比較・検証できる評価環境や実行基盤を構築する
  • LLM-as-a-Judge による評価手法を検証し、信頼性のある評価基準を確立して評価基盤に組み込む
  • エージェントに組み込む新しい Tool や Skill の有用性を測る評価タスクを設計し、開発時の意思決定につなげる仕組みをつくる

働く面白さ

  • 累積1億着電の対話 AI プラットフォーム上に蓄積された大規模なコミュニケーションデータを解析する Agentic Workflow に対して、評価タスクの設計から改善まで一貫して取り組める
  • まだ確立された方法論が少ない Agentic Workflow の評価について、「何を、どのように評価するか」から設計できる
  • 評価基盤をつくるだけではなく、評価結果を実際のエージェント開発や品質改善の意思決定に関われることができる。さらには、顧客の信頼と顧客獲得などのビジネスの成果にも直接貢献することが可能
  • LLM-as-a-Judge や Agent Evaluation、LLM Observability など、技術の進歩が速い領域の知見を実プロダクトで検証できる

一緒に働くメンバー、チームの特徴

IVRyには、多様なバックグラウンド・高い専門性・成長意欲・そして開発を楽しむカルチャーを持ったメンバーが集まっています。

多様なバックグラウンドと専門性

メンバーの経歴は、Google、AWS、Microsoft、メルカリ、クックパッド、リクルート、SmartNewsといった技術を軸にプロダクト開発を行う企業から、スタートアップ、制作会社、フリーランス、学術研究まで多岐にわたります。また、バックエンド・フロントエンド・モバイル・インフラ・LLM・音声技術など、専門性の幅も非常に広く、多様な視点を持ったエンジニアが活躍しています。

プロダクト志向と課題解決マインド

技術だけを追いかけるのではなく、「良いサービスを届けたい」「困っている人を助けたい」といったプロダクト志向とユーザー志向を持ったメンバーが多いのが特徴です。事業や組織の課題にも積極的に関わり、エンジニアリングの枠を越えて価値を届けようとする姿勢が共通しています。

自律性とオープンなチーム文化

経営・エンジニア・ビジネス全体で心理的安全性とフラットな関係性が根付いており、誰でも提案・議論しやすい環境です。また、エンジニアを含めたすべてのメンバーが自律的に判断し、前に進めるカルチャーを大切にしています。部署を越えた連携や、事業数値のオープンな共有などもIVRyのスタンダードです。

成長意欲と学習姿勢

新しい環境や領域に飛び込むことを「強くてニューゲーム」と表現し、変化や挑戦を楽しむ文化があります。アジャイル開発、組織開発、マネジメント、ビジネス視点などにも関心を持ち、エンジニアリングの枠を越えて学び続けるメンバーが多く在籍しています。

AI・LLMへの高い関心

アイブリーの中核技術であるLLMや音声対話AIを社会実装することへの関心と熱量も共通点の一つです。「LLMを使って、世の中に“なくてはならない”サービスをつくる」ことを目指し、日々の開発に取り組んでいます。

スタートアップならではの挑戦を楽しむ

急成長中のスタートアップという環境で、前例のない課題や変化を楽しみながら、自らの手でサービスや組織を進化させていくことにやりがいを感じるメンバーが集まっています。

選考プロセス

  1. エントリー
  2. カジュアル面談
  3. 書類選考
  4. 面接（2〜3回）
  5. 内定
  6. 条件面談

※面接から内定まで、オンラインにて対応可能です。
※エントリー時に回答いただくアンケートの内容をもとに、カジュアル面談を実施いたします。カジュアル面談を経て正式なご応募に進んでいただいた方には、書類選考をご案内します。ご希望やご経験に合うポジションの提案が難しい場合は、面談の実施を見送らせていただくこともございます。
※面接では、これまで携わられた AI・LLM を用いた開発について、「どのように品質を評価し、どう改善したか」を具体的にお伺いします。

開発実績

  • アイブリー
  • アイブリー AI Contact Center
  • アイブリーモバイルアプリ
  • IVRy AI FAX
  • IVRy Data Hub

採用方針

IVRyは、年齢・性別・国籍・人種・障がいの有無・LGBTQ+・婚姻状況・雇用形態といった属性によって採用や選考の判断を行うことは一切ありません。
IVRyのミッションと「Work is Fun」という価値観に共感し、AIによって仕事と顧客体験を再定義する挑戦にワクワクできる方と、一緒に未来をつくっていきたいと考えています。

Working Conditions

Salary

  • 年収：700万円〜1,200万円
  • 月給：58.3万円～100万円（年収の1／12）

※みなし時間外労働手当を含みます（超過分は別途支給）
※月45時間の時間外労働（内月30時間の深夜労働）の手当として支給
※経験・能力を考慮の上、決定いたします
※個人の成果・貢献度に応じてストックオプションを付与する場合があります

Location

  • 本社オフィス
    〒108-0073 東京都港区三田三丁目5-19 住友不動産東京三田ガーデンタワー10F
  • 大阪オフィス
    〒530-0047 大阪府大阪市北区西天満四丁目14-3 リゾートトラスト御堂筋ビル18階

Job Type

  • 正社員

Work hours

  • 勤務時間
    フレックスタイム制
    標準労働時間1日8時間（コアタイム10時～15時）
  • 休日休暇
    完全週休2日制（土日） 祝日 有給休暇 年次有給休暇（入社時期に応じて付与・最大17日） 育児休暇 慶弔休暇

Probation period

  • 試用期間：3ヶ月（この間の給与・待遇などの条件に変わりはありません）

Benefits

  • 保険
    健康保険
    厚生年金
    労働者災害補償保険
    雇用保険
  • その他
    リモート／ハイブリッドワーク
    社内ドリンク飲み放題
    書籍購入サポート
    入社後3ヶ月歓迎ランチ
    月1オフィスオープンデー（懇親会）
    ボルダリング登り放題
    音楽聴き放題
reco経由で応募する