AITech Trends

Rekayasa Harness: Membangun Ruangan Tempat AI Dapat Bekerja secara Andal

Minggu lalu, DeepSeek merilis DeepSeek Harness (DSH) sebagai open source, sehingga tersedia untuk publik. Artikel ini memperkenalkan rekayasa harness, disiplin dalam membangun lingkungan di sekitar model AI agar dapat bertindak secara andal. Dengan menggunakan metafora seorang ahli kimia di dalam laboratorium, kami berpendapat bahwa alat saja tidaklah cukup. Organisasi harus membangun lingkungan kerja yang lengkap: alat, batasan, proses, dan umpan balik. Kami mengidentifikasi tiga kelemahan mendasar dari agen AI, yaitu kebutaan kepercayaan, penalaran non-deterministik, dan umpan balik yang hilang, serta menunjukkan bagaimana harness yang dirancang dengan baik dapat mengompensasi masing-masing. Dalam praktiknya, setiap proyek AI sebagian merupakan proyek rekayasa harness. Jawabannya terletak pada bagaimana membuat kecerdasan probabilistik menjalankan operasi bisnis yang deterministik.

Poin Penting

  • Rekayasa harness berarti membangun lingkungan kerja di sekitar model AI, bukan sekadar menambahkan alat atau memilih model yang lebih cerdas.
  • Sebuah model menyediakan kecerdasan, alat menyediakan kemampuan, dan harness menyediakan keandalan.
  • Tiga kelemahan struktural agen AI, yaitu kebutaan kepercayaan, penalaran non-deterministik, dan umpan balik yang hilang, harus dikoreksi oleh lingkungan, bukan oleh model itu sendiri.
  • Sebuah harness praktis memiliki empat komponen: alat, batasan, proses, dan umpan balik, yang mengubah penalaran probabilistik menjadi alur kerja yang terbatas dan dapat diulang.
  • Rekayasa harness menggeser tim dari human-in-the-loop ke human-on-exception, memfokuskan perhatian manusia hanya pada titik yang masih menyimpan ketidakpastian.

Ahli Kimia Cemerlang di Ruangan Kosong

Bayangkan seorang ahli kimia cemerlang ditempatkan di ruangan kosong. Sang ahli kimia memiliki pengetahuan yang mendalam, tetapi tanpa instrumen, tanpa bahan kimia, tanpa protokol, tanpa peralatan keselamatan, dan tanpa cara untuk mengetahui apakah sebuah eksperimen berhasil. Menambahkan API dan perangkat lunak alat adalah seperti mengisi ruangan dengan bahan kimia dan instrumen. Berguna, tetapi tetap bukan laboratorium. Laboratorium sungguhan memiliki bahan kimia berlabel, instrumen terkalibrasi, prosedur operasi standar, penghalang keselamatan, dan sistem pengukuran. Itulah perbedaan antara memberikan alat sembarangan kepada AI dan memberikannya laboratorium terstandardisasi. Rekayasa harness adalah praktik membangun laboratorium tersebut untuk agen AI. Ia berangkat dari premis sederhana: sebuah model menyediakan kecerdasan; sebuah harness menyediakan lingkungan kerja yang mengubah kecerdasan tersebut menjadi sistem yang andal.

Tiga Kelemahan yang Tidak Dapat Diperbaiki oleh Alat Saja

Banyak kegagalan AI perusahaan berakar pada perlakuan terhadap model sebagai sumber utama keandalan. Namun bahkan model yang powerful pun memiliki tiga keterbatasan struktural yang harus ditangani oleh lingkungan, bukan oleh model AI itu sendiri.

Kebutaan Kepercayaan

Model AI tidak secara alami memahami tingkat kepercayaan sebuah informasi. Bagi model, sebuah undang-undang yang masih berlaku dan sebuah postingan forum acak yang membahas undang-undang tersebut sama-sama hanya teks. Dalam konteks hukum, sumber-sumber berikut tidaklah setara: sebuah undang-undang yang masih berlaku; putusan pengadilan yang mengikat di yurisdiksi yang relevan; putusan lama yang telah dibatalkan; dan postingan forum yang membahas putusan tersebut. Bagi agen keuangan, pendapatan yang dilaporkan dalam laporan tahunan yang diaudit secara fundamental berbeda dengan angka yang sama di blog seorang analis. Untuk keamanan siber, sebuah domain yang ada di daftar blokir threat intelligence berbeda dengan domain yang sekadar disebut negatif di forum. Karena itu, sebuah harness harus menambahkan lapisan kepercayaan dan validasi di sekitar pengambilan informasi. Alat harus mengembalikan metadata terstruktur, seperti jenis sumber, yurisdiksi, tingkat pengadilan, status keabsahan, dan riwayat sitasi, bukan hanya teks mentah. Lebih penting lagi, harness dapat menegakkan aturan: jika sebuah kesimpulan bergantung pada yurisprudensi, pastikan perkara tersebut belum dibatalkan; jika sumber bertentangan, jangan menyimpulkan secara otomatis; jika hanya tersedia sumber sekunder, turunkan tingkat keyakinannya.

Penalaran Non-Deterministik

Penalaran AI memang mampu, tetapi tidak deterministik. Masalah yang sama mungkin diselesaikan menggunakan alur kerja A hari ini dan alur kerja B besok. Untuk brainstorming, variabilitas itu berguna. Untuk sistem operasional, itu berbahaya. Pertimbangkan sebuah tugas uji tuntas hukum. Satu kali penjalanan mungkin mengikuti jalur yang ketat: mengidentifikasi yurisdiksi, mencari legislasi, mencari perkara, memeriksa keabsahan, lalu meringkas. Penjalanan lain mungkin langsung melompat ke pencarian web umum, menemukan sebuah artikel, menyimpulkan jawaban, dan hanya mencari satu perkara. Keduanya mungkin terdengar cerdas, tetapi keduanya tidak menawarkan jaminan yang sama. Rekayasa harness mengendalikan proses tanpa menghilangkan penalaran AI. Prinsipnya adalah membiarkan AI bernalar di dalam alur kerja yang terkendali, alih-alih menciptakan alur kerja baru setiap saat. AI tetap memutuskan kata kunci apa yang dicari, bagian mana yang relevan, dan bagaimana bukti saling terhubung. Tetapi ia tidak boleh diam-diam melewati langkah-langkah wajib. Ini menghasilkan penalaran yang terbatas, bukan penalaran tanpa batas, serupa dengan memberikan protokol kepada seorang ilmuwan yang memastikan pemeriksaan tertentu selalu dilakukan tanpa mendikte setiap pemikiran.

Umpan Balik yang Hilang

Manusia belajar karena lingkungannya terus-menerus memberi tahu apakah sesuatu berhasil. Ahli kimia mendapatkan pembacaan suhu, hasil spektrometer, dan reaksi yang gagal. Insinyur perangkat lunak mendapatkan error kompiler, pengujian unit, dan log. Banyak agen AI, sebaliknya, menghasilkan sebuah jawaban lalu berhenti. Mereka hampir tidak menerima sinyal yang setara. Harness seharusnya menciptakan umpan balik yang dapat dibaca mesin. Untuk agen hukum, setelah mengambil preseden, sistem dapat secara otomatis bertanya apakah perkara-perkara tersebut berasal dari yurisdiksi yang benar, apakah masih berlaku, apakah bagian yang diambil benar-benar mendukung proposisi yang diklaim, apakah perkara-perkara berikutnya bertentangan dengannya, dan apakah setiap kesimpulan material memiliki sitasi yang berwenang. Pemeriksaan ini dapat dilakukan oleh alat, aturan, basis data, atau evaluator AI terpisah. Arsitekturnya bergeser dari pola agen bertindak dan manusia memeriksa segalanya, menjadi agen bertindak, lingkungan menghasilkan bukti, evaluator memeriksa hasil, agen menerima umpan balik, dan agen mengoreksi arah.

Empat Tugas Sebuah Harness

Sebuah harness yang praktis dapat dijelaskan melalui empat komponen. Alat adalah instrumennya: mesin pencari, basis data, kalkulator, dan API. Batasan menentukan perimeter keamanan: tindakan apa yang diizinkan, data apa yang dapat diakses, dan keputusan apa yang dapat diambil secara otonom. Proses mengodekan alur kerja: langkah-langkah wajib, gerbang validasi, dan aturan keputusan yang mengubah penalaran terbuka menjadi prosedur yang dapat diulang. Umpan balik menyediakan sinyal, seperti pemeriksaan otomatis, skor keyakinan, dan deteksi kontradiksi, yang memungkinkan agen mengoreksi arah tanpa menunggu manusia. AI yang powerful tanpa harness adalah ahli kimia cemerlang di ruangan kosong. Memberinya API adalah mengisi ruangan dengan bahan kimia dan instrumen. Rekayasa harness adalah membangun laboratorium yang sebenarnya: bahan kimia berlabel, instrumen terkalibrasi, prosedur operasi standar, penghalang keselamatan, dan alarm ketika ada yang salah.

Dari Human-in-the-Loop ke Human-on-Exception

Tujuan rekayasa harness bukanlah untuk menyingkirkan manusia dari bagian yang terlibat. Tujuannya adalah memfokuskan perhatian manusia hanya pada titik ketika sistem tidak dapat menyelesaikan ketidakpastiannya sendiri. Misalnya, ketika keyakinan 95% dan semua validasi lolos, lanjutkan secara otomatis. Ketika keyakinan 72% dan sumber bertentangan, agen melakukan pencarian lain. Ketika keyakinan 45% dan ambiguitas hukum belum terselesaikan, eskalasikan ke manusia. Ini mengubah human-in-the-loop menjadi human-on-exception. Ini mengurangi hambatan tinjauan manusia yang terus-menerus sambil tetap mempertahankan pengawasan untuk kasus berisiko tinggi atau ambigu. Hasilnya adalah sistem yang dapat diskalakan tanpa mengorbankan kendali.

Implikasi Manajerial

Bagi para eksekutif, implikasinya jelas. Bagian tersulit dari AI perusahaan bukan lagi sekadar membuat model lebih cerdas. Ia adalah merekayasa lingkungan di sekitar model sehingga kecerdasan probabilistik dapat mendukung operasi bisnis yang deterministik. Investasi seharusnya bergeser ke arah desain alur kerja, infrastruktur validasi, mekanisme umpan balik, dan batas tata kelola, bukan hanya pemilihan model. Pesan komersialnya tegas: model menyediakan kecerdasan, alat menyediakan kemampuan, dan harness menyediakan keandalan. Secara lebih teknis, rekayasa harness mengubah penalaran AI probabilistik menjadi alur kerja yang terbatas, terukur, dan dapat diulang. Organisasi yang menguasai disiplin ini akan mampu menerapkan agen AI bukan sebagai asisten eksperimental, tetapi sebagai komponen yang dapat diandalkan dalam proses bisnis inti.

Sumber: Data Matters, in AI era. (Antony)

Profil penulis:

Antony Ma, CTO of Hoplite Tech

Antony Ma, CTO of Hoplite Tech

Pria IT era pra-cloud yang mengasah keterampilannya dengan Java di Eclipse. Kini mendalami keamanan siber dan mendobrak dunia pendidikan. Mantan Ketua, Cloud Security Alliance HK & Macau Chapter & Professional Information Security Association.