Apa itu LLM?

LLM yang merupakan singkatan dari Large Language Model (Model Bahasa Besar) adalah model deep learning yang dilatih sebelumnya dengan data yang sangat besar. Transformer menjadi dasar model LLM dengan menggunakan encoder dan decoder yang keduanya menggunakan attention model didalamnya. Encoder dan decoder pada dasarnya digunakan untuk mengekstraksi makna dalam kalimat yang diberikan oleh pengguna, didalamnya attention digunakan untuk dapat mengetahui keterhubungan dari setiap kata dalam kalimat yang diberikan.

LLM yang dilatih dengan data yang sangat besar akan menghasilkan model yang sangat besar juga. Data yang dilatih pada LLM berasal dari data-data buku, wikipedia, halaman web dan sumber lain hingga puluhan juta halaman. Model LLM memiliki parameter yang jumlahnya berbeda-beda dari ratusan ribu hingga milyaran parameter, parameter ini yang salah satunya menentukan akurasi dari sebuah model.