Research S3 Bu Anita

# AR Score Agents v2: Sistem Skoring Annual Report Otomatis Berbasis Multi-Agent AI

Latar Belakang

Dalam riset akuntansi dan tata kelola perusahaan di Indonesia, salah satu metodologi yang paling banyak digunakan adalah **content analysis** terhadap annual report perusahaan publik. Peneliti membaca laporan tahunan satu per satu, mencocokkan dengan framework indikator (Technology, COBIT, IT Governance, Binary Governance, Risk, Financial), lalu memberi skor secara manual.

Masalahnya jelas: manual scoring itu **memakan waktu, subjektif, dan sulit direplikasi**. Untuk satu perusahaan saja, peneliti harus menilai 96+ indikator dari laporan yang bisa mencapai 300-500 halaman. Kalau sample-nya 50-100 perusahaan, waktu yang dibutuhkan bisa berminggu-minggu. Belum lagi masalah konsistensi: skor yang sama dari peneliti berbeda bisa berbeda hasilnya (inter-rater reliability).

Bu Anita datang ke Zemetia Studio dengan tantangan ini. Disertasinya membutuhkan scoring system yang **cepat, konsisten, dan berbasis bukti** — bukan tebakan atau opini. Solusinya: **AR Score Agents v2**, sebuah multi-agent AI system yang membaca, menganalisis, dan menilai annual report secara otomatis.

Arsitektur Sistem

Sistem dibangun di atas **n8n** sebagai orchestration engine, dengan **DeepSeek v4 Flash** sebagai Large Language Model yang diakses melalui **SumoPod API**. Seluruh workflow di-generate oleh Python builder (`build_v2.py`) sehingga bisa di-version control dan di-redeploy dalam satu perintah.

Enam specialized AI agents bekerja paralel, masing-masing dengan tugasnya sendiri:

1. Technology Scorer

Menilai 15 indikator teknologi informasi dari annual report: cloud computing, database, hardware, OS, networking, enterprise software (ERP/CRM), AI, big data, IoT, RPA, blockchain, dan lainnya. Setiap indikator diskor 0/1/2 berdasarkan anchor yang ketat — misalnya cloud computing: skor 0 kalau tidak disebut, 1 kalau disebut sepintas, 2 kalau ada nama provider dan peran operasional yang jelas.

2. COBIT Scorer

Mengukur kualitas pengungkapan tata kelola TI berdasarkan framework **COBIT 2019** (EDM, APO, BAI, DSS, MEA). Menilai 19 indikator IT governance dari perspektif strategic alignment, value delivery, dan risk management.

3. IT Risk Scorer

Mengidentifikasi dan menilai pengungkapan risiko cybersecurity dan IT risk disclosure. Termasuk deteksi insiden siber yang benar-benar terjadi (bukan sekadar pernyataan risiko generic).

4. Binary Detector

Detektor kehadiran (0/1) untuk elemen tata kelola: komite, kebijakan, sertifikasi seperti ISO 27001, piagam audit internal, whistleblowing system, kode etik, dan peran IT spesifik seperti CIO, CISO, atau DPO.

5. Numeric Extractor

Ekstraktor angka eksak: jumlah direksi dan komisaris, frekuensi rapat, training hours, rasio kehadiran, dan variabel kuantitatif lain — tanpa kalkulasi atau estimasi.

6. Financial Extractor + Model

Membaca 44 base line items dari laporan keuangan (pendapatan, aset, liabilitas, arus kas, dll.) lalu menghitung 96 output finansial secara otomatis — dari rasio profitabilitas, likuiditas, solvabilitas, efisiensi, hingga **Piotroski F-Score** (9 sinyal financial health).

Inovasi Kunci

Beberapa inovasi teknis yang membedakan sistem ini dari solusi content analysis konvensional:

Chapter Detection & Routing

Sebelum agent mana pun bekerja, sistem mendeteksi **11 jenis chapter** dalam annual report menggunakan pattern matching (Manajemen Risiko, Tata Kelola, Laporan Keuangan, Teknologi Informasi, dll.). Setiap agent hanya menerima chapter yang relevan — Technology Scorer hanya membaca bagian TI, bukan profil perusahaan atau CSR. Ini memangkas konteks yang tidak perlu dan meningkatkan akurasi.

Evidence-First Scoring

Ini adalah prinsip paling fundamental dalam sistem. Setiap skor **wajib** didukung oleh kutipan verbatim dari laporan. Di dalam kode, aturannya keras: kalau sebuah indikator diskor >0 tapi tidak ada evidence, sistem otomatis mengubahnya menjadi **null** dan menandai `needs_review`. Tidak ada tebakan, tidak ada skor tanpa bukti.

Multi-Citation (Seperti Sitasi Tesis)

Satu indikator bisa didukung oleh banyak bukti dari berbagai halaman laporan. Sistem mengumpulkan, menghapus duplikasi, dan mengurutkan semua kutipan berdasarkan halaman dan offset. Output akhir menampilkan setiap kutipan seperti daftar pustaka — `[1] "Perusahaan menggunakan SAP S/4HANA..." (hal. 12)`, `[2] "Oracle E-Business Suite untuk penggajian..." (hal. 21)`. Ini memungkinkan peneliti melacak setiap klaim ke sumber aslinya.

Verifier Agent (Second-Pass Audit)

Item dengan skor tertinggi (skor 2, atau insiden yang tercatat) melewati **audit tahap kedua**. Seorang agent khusus memeriksa ulang: apakah bukti yang diberikan benar-benar memenuhi anchor? Kalau buktinya lemah atau hanya rencana, skor **diturunkan**. Mekanisme ini mencegah overclaiming dan meningkatkan reliabilitas.

Abstain = Null

Ketika annual report tidak menyebutkan suatu indikator, sistem **tidak mengarang**. Tidak memberikan skor 0 palsu. Nilainya dibiarkan **null** dengan justifikasi "tidak disebutkan". Ini penting secara statistik — peneliti bisa membedakan "tidak ada pengungkapan" dari "pengungkapan dengan skor 0".

Batch Processing dengan Anti-Truncation

Setiap prompt dibatasi maksimal 12-15 kode per panggilan AI untuk mencegah truncation. Hasil dari beberapa batch kemudian digabung dengan strategi merge: skor tertinggi diambil, evidence di-union, metadata diambil dari batch dengan skor lebih baik.

Sheet-Organized Output

Hasil akhir tidak dikembalikan sebagai JSON dump, melainkan langsung terstruktur ke dalam 6 sheet yang mirroring **RESEARCH INDICATORS N8N.xlsx**: Technology, GOV COBIT, IT GOV, GENERAL GOV, IT RISK, dan Financial. Setiap sheet siap diekspor ke Excel dengan format yang sama persis dengan lembar kerja peneliti.

Financial Model dengan JS Formula

Alih-alih meminta AI menghitung rasio (yang rawan error), Financial Extractor hanya membaca 44 base items dari laporan keuangan. Seluruh 96 output — termasuk rasio profitabilitas, Altman Z-Score, dan Piotroski F-Score — dihitung melalui **JavaScript formula** yang deterministik di node Compute. Hasilnya: akurat, konsisten, dan bisa diaudit.

Balance Sheet Verification

Secara otomatis memeriksa identitas akuntansi: Aset = Liabilitas + Ekuitas. Kalau selisihnya >1%, item-item terkait ditandai `needs_review` untuk investigasi lebih lanjut.

Detail Teknis

Pipeline

Webhook (POST /ar-score-v2)
  → Prepare Input (parse page markers)
  → Detect Chapters (11 jenis chapter via regex)
  → Route Chapters (assign agent ke chapter relevan)
  → [PARALLEL] 6 Agents:
       Prep Agent → Agent Scorer → Parse & Validate
  → Collect Agents (merge node)
  → Reduce by Sheet (regrup ke 6 sheet)
  → Build Verify (kumpulkan item skor 2 / incident)
  → Verifier Agent (second-pass audit)
  → Apply Verify (downgrade + balance sheet check)
  → Respond (JSON output)

Prompt Engineering

Setiap agent menggunakan **system message yang ketat** dengan format output JSON yang fixed. Tidak ada markdown, tidak ada penjelasan tambahan. Anchor 0/1/2 disertakan langsung dalam prompt per batch sebagai tabel. Ini memaksa model untuk fokus pada skoring berbasis bukti, bukan generasi teks bebas.

Quality Control

Beberapa lapisan QC yang tertanam dalam workflow:

1. **Pre-seed + Whitelist** — Semua kode indikator diinisialisasi sebelum AI merespon. Kode hallucinasi dari AI otomatis dibuang.

1. **Evidence Validation** — Setiap skor >0 tanpa bukti diubah ke null.

1. **Verifier Agent** — Audit second-pass untuk skor tertinggi.

1. **Balance Identity Check** — Verifikasi akuntansi A = L + E.

1. **Deduplication** — Kutipan identik dari batch berbeda otomatis diduplikasi.

1. **Page Locator** — Setiap kutipan dilacak ke halaman spesifik (bukan asal comot).

Deployment

Seluruh workflow bisa di-redeploy dalam satu perintah:

python build_v2.py

Workflow di-generate sebagai JSON, dikirim ke n8n API, dan langsung diaktivasi. Tidak ada kopi-paste konfigurasi manual.

Hasil dan Validasi

PoC untuk Technology Scorer (15 indikator) telah tervalidasi pada **24 Juli 2026** dengan hasil:

- **Cloud (skor rencana)** → 0 (tepat, karena hanya rencana migrasi)

- **Backup singkat** → 1 (sesuai anchor, disclosure minim)

- **SAP S/4HANA** → 2 (sistem bernama dengan peran jelas)

- **IT Accounting** → 2 (sistem keuangan terintegrasi)

- **ADRO (uji nyata)** → semua null (ADRO nyaris tanpa disclosure IT — sistem abstain jujur tanpa mengarang)

Pola ini kemudian di-scale ke 5 agent tambahan, menghasilkan sistem dengan kemampuan:

• ~96+ indikator per perusahaan (15 tech + 19 COBIT + IT Risk + 30+ binary + numeric + 16 financial base + Piotroski derived)

• Multi-citation dengan evidence terverifikasi dari berbagai halaman

• Verifier agent sebagai lapisan audit kedua

• Output langsung ke Excel multi-sheet

Dampak untuk Penelitian

Dengan sistem ini, Bu Anita bisa:

1. **Memproses annual report puluhan perusahaan dalam hitungan menit**, bukan berminggu-minggu

1. **Mendapatkan konsistensi scoring yang sempurna** — tidak ada perbedaan antar penilai karena hanya satu AI model yang bekerja

1. **Melacak setiap skor ke bukti spesifik** di halaman laporan — esensial untuk audit akademik

1. **Membedakan secara statistik antara "tidak diungkapkan" (null) dan "diungkapkan dengan skor 0"**

1. **Mengekspor hasil langsung ke Excel** dalam struktur yang sama dengan lembar kerja penelitian

*Dibangun oleh Zemetia Studio — Juli 2026*