Dari Data Latihan ke Prediksi Token

Respons AI bisa terasa seperti percakapan manusia. Mekanisme di belakangnya tetap berbeda dari cara manusia mengalami dunia.

Orientasi

Durasi: sekitar 30 menit Prasyarat: sudah mencoba satu chatbot Output modul: mental model sederhana dan satu eksperimen tentang ketidakpastian AI

Kamu tidak perlu memahami arsitektur neural network. Kamu hanya perlu mental model yang cukup akurat untuk membuat keputusan lebih baik.

2.1 Dari data latihan ke model

Bayangkan kamu membaca sangat banyak contoh tulisan. Pelan-pelan, kamu mulai menangkap pola:

• kata apa yang sering muncul bersama;
• bentuk email formal;
• struktur resep;
• cara pertanyaan biasanya dijawab;
• hubungan antara banyak konsep;
• gaya bahasa yang berbeda.

Language model dilatih dari data dalam skala sangat besar untuk mempelajari pola-pola tersebut. Hasil pelatihannya bukan perpustakaan yang bisa dibuka halaman demi halaman. Lebih mirip kumpulan hubungan statistik yang sudah “dipadatkan” ke dalam parameter model.

Saat kamu mengetik prompt, model menggunakan pola yang dipelajari dan konteks yang tersedia untuk menghasilkan respons.

Batas analogi perpustakaan

Kalimat “AI sudah membaca semua buku” terdengar mudah, tetapi menyesatkan kalau dianggap literal.

• Model tidak punya salinan sempurna dari semua sumber.
• Data latihan tidak mencakup semua hal.
• Tidak semua data berkualitas atau mutakhir.
• Model bisa mencampur pola dari beberapa sumber.
• Model belum tentu bisa menunjukkan dari mana satu kalimat berasal.
• Beberapa produk dapat mencari web atau membaca file, tetapi itu fitur tambahan, bukan jaminan semua respons bersumber.

Jadi, jangan bertanya “AI hafal buku mana?” sebagai satu-satunya cara memahami output. Tanyakan juga: konteks apa yang diberikan, sumber apa yang dipakai, dan bagaimana hasilnya diverifikasi.

2.2 Token dan prediksi berikutnya

Komputer tidak memproses kalimat persis seperti mata manusia membaca. Teks dipecah menjadi potongan kecil yang disebut token. Token bisa berupa satu kata, bagian kata, tanda baca, atau kombinasi karakter.

Language model memperkirakan token apa yang masuk akal muncul berikutnya, lalu mengulang proses itu untuk membentuk respons.

Analogi yang sering dipakai adalah autocomplete di keyboard, tetapi jauh lebih canggih.

“Hari ini cuacanya sangat ...”

Keyboard mungkin menyarankan “panas”. Language model mempertimbangkan konteks lebih panjang, instruksi, format, contoh, dan hubungan konsep untuk menghasilkan kalimat atau dokumen lengkap.

Kenapa “cuma menebak kata berikutnya” juga belum lengkap

Model modern biasanya melewati tahap tambahan agar lebih mampu mengikuti instruksi, menggunakan tools, menolak permintaan tertentu, dan menyesuaikan respons. Produk AI juga dapat memiliki:

• pencarian web;
• kalkulator atau code execution;
• kemampuan membaca file;
• memory produk;
• koneksi ke aplikasi lain;
• pengolahan gambar, audio, dan video.

Mental model yang lebih berguna:

AI menghasilkan respons dari pola yang dipelajari, konteks yang diberikan, instruksi produk, dan tools yang tersedia.