Berikut ini adalah postingan artikel kategori Software Development yang membahas tentang penjelasan pengertian, definisi, dan arti dari istilah kata tokenization berdasarkan rangkuman dari berbagai jenis macam sumber (referensi) relevan, terkait, serta terpercaya.
Pengertian Tokenization
Apa itu sebetulnya yang dimaksud dengan tokenization ini?
Tokenisasi adalah tindakan memecah urutan string menjadi potongan -potongan seperti kata, kata kunci, frasa, simbol, dan elemen lain yang disebut token.
Token dapat berupa kata -kata, frasa atau bahkan seluruh kalimat secara keseluruhan.
Dalam proses tokenisasi, beberapa karakter seperti tanda baca dibuang.
Token menjadi input untuk proses lain seperti parsing dan penambangan teks.
Tokenisasi digunakan dalam ilmu komputer, di mana ia memainkan peran besar dalam proses analisis leksikal.
Pembahasan dari Apa itu Pengertian, Arti, serta Contoh dari Istilah Tokenization
Baik, agar kita dapat lebih mendalami arti penjelasan serta maksud dari acronym atau kata tersebut di atas, pastinya kita juga perlu memahami lebih dalam tentang pembahasan terkait apa itu pengertian, arti, dan akronim, istilah, jargon, atau terminologi tokenization.
Tokenisasi sebagian besar bergantung pada heuristik sederhana untuk memisahkan token dengan mengikuti beberapa langkah:
Token atau kata -kata dipisahkan oleh spasi putih, tanda baca atau jeda garis
Ruang putih atau tanda baca dapat atau mungkin tidak termasuk tergantung pada kebutuhan
Semua karakter dalam string yang berdekatan adalah bagian dari token.
Token dapat terdiri dari semua karakter alfa, karakter alfanumerik atau karakter numerik saja.
Token sendiri juga bisa menjadi pemisah.
Misalnya, dalam sebagian besar bahasa pemrograman, pengidentifikasi dapat ditempatkan bersama dengan operator aritmatika tanpa ruang putih.
Meskipun tampaknya ini akan muncul sebagai satu kata atau token, tata bahasa bahasa sebenarnya menganggap operator matematika (token) sebagai pemisah, jadi bahkan ketika beberapa token dikumpulkan bersama, mereka masih dapat dipisahkan melalui matematika matematika operator.
Seperti yang sudah kita lihat di atas, istilah ini merupakan salah satu dari kumpulan kamus, akronim, istilah, jargon, atau terminologi dalam bidang teknologi yang diawali dengan abjad atau awalan T, serta merupakan terms yang terkait dengan Software Development.
Arti Tokenization dalam Kamus Terjemahan Bahasa Indonesia dan Inggris
Selain membahas tentang pengertian dan pembahasan definisinya, untuk lebih memperdalamnya, di sini kita juga perlu mengetahui apa arti kata tokenization dalam kamus terjemahan bahasa Indonesia dan Inggris.
Untuk lebih mudah dalam memahaminya, di artikel ini Kami akan menguraikannya berupa tabel terjemahan bahasa Indonesia dan Inggris sebagai berikut.
| Tipe | Bahasa Indonesia | Bahasa Inggris |
| Terminologi | tokenisasi | tokenization |
| Kategori | pengembangan perangkat lunak | software development |
Penutup
Baiklah, di atas adalah pembahasan dan penjelasan tentang apa itu arti dari tokenization.
Semoga postingan artikel yang sudah Kami bagikan ini dapat bermanfaat serta dapat menambah wawasan kita semua.
Lihat juga pembahasan terkait apa itu pengertian, arti, dan akronim, istilah, jargon, atau terminologi artikel lainnya yang berhubungan dengan bidang Teknologi yang ada di laman blog UrlWebsite Kami.
Sumber (Referensi)
Artikel ini dibuat berdasar dari simpulan arti definisi dari berbagai referensi relevan yang berotoritas seperti Wikipedia, Webopedia Technology Dictionary dan beberapa sumber lainnya seperti Technopedia dan Techterms. Kata Tokenization ini merupakan salah satu dari kumpulan terminologi “Software Development” dalam bidang teknologi yang dimulai dengan abjad atau awalan T. Artikel ini di-update pada bulan May tahun 2024.
- https://id.wikipedia.org/wiki/terminologi
- https://id.wikipedia.org/wiki/teknologi
- https://id.wikipedia.org/wiki/teknis
- https://www.webopedia.com/?s=tokenization
- Gambar contoh dari tokenization via Google di sini
- Gambar contoh dari tokenization via Bing di sini
