Keamanan AI mencakup tiga hal yang berbeda, dan sebaiknya ketiga hal ini dipisahkan sebelum melakukan pembicaraan dengan vendor, bukan saat pembicaraan berlangsung. Para penyerang menggunakan AI untuk menciptakan dan memperluas ancaman. Pihak yang bertugas melindungi menggunakan AI untuk mendeteksi dan menanggapi ancaman-ancaman tersebut. Dan kategori ketiga mencakup keduanya: mengamankan sistem AI yang sudah dijalankan oleh suatu organisasi, termasuk model, data pelatihan, sumber RAG, dan agen, yang semuanya memiliki risiko terlepas dari apakah ada penyerang di dekatnya atau tidak. |
Poin-Poin Penting
- Istilah-istilah keamanan AI dibagi menjadi tiga kelompok, yaitu teknik penyerang, kemampuan pertahanan, dan risiko organisasi terkait pengamanan sistem AI itu sendiri; dan menggabungkan ketiganya akan menimbulkan diskusi yang keliru dengan vendor.
- Apa yang membedakan suatu istilah sebagai teknik penyerang atau kemampuan pertahanan bergantung pada sisi mana dari berkas, perintah, atau kumpulan data yang menjadi sasaran tindakan AI tersebut, bukan pada teknologinya sendiri
- Membersihkan sebuah berkas tidak menjamin kebenaran isinya, mendeteksi konten yang dihasilkan AI tidak membuktikan adanya penipuan, dan pemeriksaan berkas tidak mencakup hal-hal yang diizinkan dilakukan oleh agen AI
Teknologi kami sendiri muncul dalam sejumlah istilah berikut: pemeriksaan berkas dan konten sebelum proses AI, pemindaian LLM di dalam MetaDefender Aether™, serta kontrol data sensitif yang berlaku terlepas dari apakah model AI terlibat atau tidak. Jika hal tersebut berlaku, kami menyebut kemampuan tersebut secara langsung. Jika suatu istilah merupakan singkatan dalam industri yang tidak memiliki padanan langsung dalam sistem kami, maka kami mencantumkan istilah tersebut sebagaimana adanya.
Tiga Makna Keamanan AI
Istilah keamanan AI terbagi menjadi tiga kelompok yang jarang tumpang tindih, meskipun dua kelompok pertama bisa terlihat identik dari luar. Istilah penyerang menggambarkan bagaimana AI mempercepat serangan, mulai dari malware yang dihasilkan AI hingga data pelatihan yang diracuni. Istilah pertahanan menggambarkan bagaimana AI memperkuat deteksi, mulai dari deteksi prediktif sebelum eksekusi hingga penyuntingan otomatis data sensitif. Seorang penyerang menggunakan model generatif untuk menghasilkan email phishing yang meyakinkan dalam hitungan detik; seorang pertahanan melatih klasifikasi pada ribuan upaya phishing nyata untuk mendeteksinya. Teknologi dasarnya sama, namun tujuannya berlawanan.
Kelompok ketiga menggambarkan risiko yang ada pada sistem AI itu sendiri; berkas model, data pelatihan, serta agen yang tetap ada terlepas dari siapa pun yang terlibat. Perbedaan antara istilah-istilah di bawah ini terletak pada sisi mana dari berkas, prompt, atau kumpulan data yang menjadi objek tindakan AI tersebut, serta apakah risiko tersebut memang berkaitan dengan penyerang atau tidak.
1. Istilah AI dari Sudut Pandang Penyerang
Sembilan istilah ini menjelaskan cara para penyerang memanfaatkan AI, mulai dari malware yang dibuat oleh AI hingga data yang diracuni sejak sumbernya. Masing-masing istilah tersebut menggambarkan pola nyata yang sudah diamati oleh tim keamanan.
Istilah | Penjelasan | Pertanyaan yang perlu diajukan | Bagaimana opswat menggunakan istilah ini |
Malware yang dihasilkan oleh kecerdasan buatan | Kode yang ditulis oleh AI atau dimodifikasi oleh AI, yang dihasilkan dengan bantuan AI. | Apakah pendeteksian bergantung pada tanda khas, atau pada struktur dan perilaku? | "Venak Security menguji empat sandbox komersial terhadap dua puluh sampel malware yang dihasilkan oleh AI pada tahun 2026, dan OPSWAT’s Adaptive Sandbox mencatatkan tingkat kelulusan tertinggi sebesar 95%." |
Phishing/rekayasa sosial yang dihasilkan oleh AI | Serangan phishing yang dibuat dengan kecerdasan buatan (AI), kloning suara, dan deepfake yang dirancang agar terdengar meyakinkan dalam skala besar. | Apakah sistem deteksi memeriksa tautan dan konten secara real time, atau hanya pada saat pengiriman? | “Berbeda dengan penipuan konvensional, email phishing yang dihasilkan oleh kecerdasan buatan (AI) dibuat dengan rapi dan sangat meyakinkan.” |
Serangan yang didukung AI | Serangan yang memanfaatkan kecerdasan buatan (AI) pada berbagai tahap—mulai dari pengintaian, pembuatan muatan, hingga pengelakan—bukan sekadar sebagai jalan pintas sesekali. | Bukti apa yang mengaitkan hal ini dengan kampanye tertentu, bukan sekadar tren umum? | "Pemerintah juga menyesuaikan jadwal penerapan tambalan keamanan untuk menyesuaikan dengan kecepatan serangan yang didukung AI." |
Kerentanan zero-day yang dihasilkan oleh AI | AI digunakan untuk menemukan kerentanan atau memanfaatkannya menjadi eksploit; ini merupakan pernyataan yang lebih spesifik daripada "AI menciptakan malware baru." Malware baru tidak otomatis dikategorikan sebagai zero-day. | Apakah klaim tersebut mengenai celah keamanan baru, atau sekadar malware baru yang belum terdeteksi? | "Alin AI Prediktif terus dilatih menggunakan celah keamanan zero-day yang telah diverifikasi di lingkungan sandbox dari MetaDefender Aether. Hal ini membantu mendeteksi ancaman yang dihasilkan oleh AI dan ancaman yang belum pernah terdeteksi sebelumnya." |
Paparan terhadap malware yang didukung AI | Malware yang dibuat atau disempurnakan dengan AI dapat menyusup ke sistem AI melalui file, dokumen, atau masukan jalur yang sama yang juga membawa ancaman lainnya. | Apakah sistem deteksi dapat mendeteksi malware yang dibuat atau dikendalikan oleh AI, atau hanya tanda tangan yang sudah pernah dikenali sebelumnya? | "Penurunan drastis dalam paparan terhadap malware yang didukung AI dan serangan berbasis file." |
AI Adversarial/Injeksi Prompt | AI Adversarial merupakan kategori yang lebih luas dari serangan dengan masukan yang dirancang khusus; injeksi prompt adalah varian yang khusus untuk LLM, termasuk instruksi yang disembunyikan dalam dokumen yang diambil, bukan yang diketik secara langsung. | Apakah sistem kontrol memeriksa hasil yang diperoleh dari model, bukan hanya apa yang diketik oleh pengguna? | " Injeksi prompt: Seorang penyerang menyisipkan instruksi tersembunyi di bagian pertama yang tersembunyi dari file PDF yang digabungkan." |
Keracunan kain | Dokumen yang tercemar merusak basis pengetahuan sistem pencarian. | Apakah konten disaring sebelum diindeks, atau baru setelahnya? | "Memastikan bahwa hanya konten yang tepercaya dan telah disetujui sesuai kebijakan yang diindeks ke dalam sistem pencarian dan penyimpanan vektor, sehingga mengurangi risiko RAG poisoning dan manipulasi pengetahuan yang berlangsung lama." |
Pencemaran data | Data pelatihan yang rusak menghasilkan perilaku model yang menguntungkan penyerang. | Seberapa jauh transparansi yang ada terkait asal-usul data pelatihan? | " Pencemaran data pelatihan: Dokumen yang digunakan untuk menyempurnakan atau memperkaya model AI mungkin mengandung bagian tersembunyi ..." |
Malware yang tersebar melalui berkas dalam alur kerja AI | File berbahaya berhasil lolos dari sistem pengamanan AI berbasis teks. | Apakah guardrail memeriksa isi berkas, atau hanya teks di sekitarnya? | "Malware yang Disebarkan Melalui File dalam Pipa Kerja AI: Muatan berbahaya bersembunyi di dalam file bisnis umum seperti PDF, dokumen Office, dan arsip." |
2. Istilah AI dari Sudut Pandang Bek
Istilah-istilah berikut ini menjelaskan bagaimana kami dan para pelaku industri lainnya memanfaatkan AI untuk melindungi alur kerja AI. Semua istilah tersebut terkait dengan teknologi-teknologi tertentu dalam tumpukan teknologi kami.
Istilah | Penjelasan | Pertanyaan yang perlu diajukan | Bagaimana opswat menggunakan istilah ini |
Keamanan berbasis AI/ Platform | Istilah pemasaran yang menunjukkan bahwa AI menjadi inti dari arsitektur suatu produk, bukan sekadar ditambahkan sebagai pelengkap. MetaDefender Aether™ adalah contohnya: Predictive Alin AI berjalan sebagai lapisan deteksi khusus, bukan sekadar fitur tambahan. | Apa yang terjadi jika lapisan AI tidak sejalan dengan semua sinyal lainnya? | "Platform yang dirancang khusus untuk kecerdasan buatan (AI) harus dievaluasi dengan standar ketat yang sama seperti yang diterapkan pada tumpukan perangkat lunak modern mana pun..." |
Model deteksi yang didukung AI | Sebuah model deteksi yang menandai anomali perilaku untuk ditinjau, sementara para analis tetap menganalisis hubungan antar peringatan dan menentukan mana yang benar-benar berbahaya. | Apakah model tersebut menandai anomali untuk ditinjau, atau langsung menindaklanjutinya? | "Dengan model deteksi yang didukung AI, [MetaDefender NDR ] secara terus-menerus menganalisis perilaku jaringan untuk mengidentifikasi anomali-anomali halus yang mungkin menandakan adanya aktivitas penyerang pada tahap awal siklus serangan." |
Pemeriksaan konten berbasis AI/ deteksi | Pemeriksa Konten AI kami, yang mendeteksi konten yang dihasilkan oleh AI dan pemalsuan dokumen. | Apakah sistem tersebut secara otomatis menandai konten yang dihasilkan AI sebagai penipuan, ataukah menampilkannya agar diperiksa oleh peninjau? | "AI Content Inspector adalah mesin berbasis kecerdasan buatan (AI) dari OPSWAT yang dirancang untuk memeriksa keaslian konten dan mendeteksi pemalsuan dokumen pada gambar, file PDF, dan file yang berisi teks." |
Triage otonom | AI yang menangani sebagian proses penyaringan peringatan yang didelegasikan dalam batasan kebijakan yang telah ditetapkan, seperti melengkapi informasi kasus atau merekomendasikan tingkat prioritas, alih-alih memiliki wewenang penyelidikan penuh. | Keputusan apa yang diambil oleh AI, dibandingkan dengan apa yang direkomendasikannya? | "...lembaga tersebut menerapkan layanan ' MetaDefender ' dari OPSWAT, yaitu ' Aether', untuk menyaring berkas-berkas yang mencurigakan dalam lingkungan yang terkendali." |
Kecerdasan Buatan yang Dapat Dijelaskan (XAI) | Bukti, sinyal-sinyal pendukung, dan keterbatasan yang mendasari sebuah putusan, bukan sekadar skor kepercayaan. Skor hanyalah probabilitas, bukan penjelasan. | Bukti apa yang mendasari angka tersebut? | "Alat audit AI, kerangka kerja interpretabilitas, dan teknik AI yang dapat dijelaskan (XAI) membantu meredakan kekhawatiran seputar pengambilan keputusan model 'black-box'." |
Keamanan AI gerbang | MetaDefender™ Platform Guardrails untuk LLM, yang menyaring berkas dan perintah sebelum sampai ke LLM. | Apakah pemeriksaan dilakukan sebelum konten sampai ke model, atau hanya setelahnya? | "MetaDefender Core berfungsi sebagai gerbang keamanan berbasis AI, yang memeriksa dan membersihkan konten sebelum pengunggahan berkas, sebelum proses pengambilan data RAG, sebelum eksekusi alat, dan sebelum data melintasi batas kepercayaan." |
AI Prediktif | Alin AI Prediktif, yang memprediksi niat jahat sebelum sebuah berkas dijalankan (Lapisan 2: Analisis Statis dalam MetaDefender Aether). | Berapa tingkat hasil positif palsu, dan berdasarkan dataset apa? | "Mesin ini dioptimalkan untuk akurasi dan integrasi yang mulus di seluruh Platform MetaDefender , sehingga memungkinkan deteksi ancaman prediktif berbasis AI beroperasi bersamaan dengan teknologi inspeksi lainnya." |
Deteksi jenis file yang didukung oleh AI | Teknologi File Type Detection™ kami, yang mampu mendeteksi berkas palsu. | Apakah ini berjalan secara inline, atau menambah latensi? | "Deteksi yang didukung AI menganalisis struktur dan isi untuk mengidentifikasi jenis file yang sebenarnya, sehingga menutupi celah yang ditinggalkan oleh metode verifikasi tradisional." |
DLP yang didukung AI | Teknologi Proactive DLP™ kami, yang menyamarkan PII, PHI, dan PCI pada lebih dari 125 jenis berkas. | Apakah penyuntingan dilakukan sebelum proses unggah selesai, atau setelahnya? | “Ketika berkas memerlukan pemeriksaan yang lebih mendalam, OPSWAT’s emulation-based Adaptive Sandbox menganalisis perilakunya secara real-time. Proactive DLP™ yang didukung AImendeteksi dan memblokir atau menyamarkan ePHI serta konten sensitif lainnya, sehingga membantu memenuhi kewajiban sesuai HIPAA dan GDPR.” |
Penghapusan unsur berbahaya dan rekonstruksi konten | Teknologi Deep CDR™ kami, yang memisahkan konten aktif dari sebuah berkas dan membuat ulang versi yang bersih dalam lebih dari 200 format tanpa bergantung pada tanda tangan, beroperasi dalam batasan keamanan untuk LLM bersamaan dengan kontrol khusus AI. | Apakah berkas tersebut masih berfungsi dengan normal setelah proses sanitasi? | "Teknologi pembersihan berkas Deep Content Disarm and Reconstruction dariOPSWAT memindai berkas, menghapus konten berbahaya, dan membangun kembali berkas yang aman dan dapat digunakan dengan akurasi 100%." |
Multiscanning | Dapat memeriksa sebuah file menggunakan lebih dari 30 mesin anti-malware sekaligus. Fitur ini tidak khusus untuk AI, tetapi merupakan bagian dari sistem pengamanan yang sama untuk tumpukan LLM, yang mendeteksi ancaman yang sudah diketahui yang tidak dapat ditangani oleh lapisan berbasis AI. | Berapa banyak mesin yang beroperasi dalam konfigurasi yang diterapkan? | "Jika pemeriksaan dilakukan secara inline, fitur multiscanning dapat memeriksa lampiran email menggunakan beberapa mesin anti-malware sebelum dikirim." |
3. Mengamankan Sistem AI
Istilah-istilah ini tidak dapat dikategorikan secara tegas baik ke dalam kategori serangan maupun pertahanan. Istilah-istilah tersebut menggambarkan risiko yang timbul dari cara suatu organisasi membangun, mengelola, dan menghubungkan sistem AI-nya sendiri, terlepas dari apakah ada penyerang yang terlibat atau tidak.
Istilah | Penjelasan | Pertanyaan yang Perlu Diajukan | Bagaimana opswat menggunakan istilah ini |
Mengamankan agen AI | Menentukan ruang lingkup apa saja yang dapat dilakukan, diakses, dan ditindaklanjuti oleh suatu agen tanpa persetujuan. Risiko “Excessive Agency” dari OWASP, yang menempati peringkat ketiga dalam daftar 10 Besar LLM 2026, secara tepat menyebutkan ketiga titik kegagalan ini. | Apakah manusia dapat melihat hasilnya sebelum kode dijalankan? | "Bagaimana tim keamanan dapat melindungi diri dari serangan agen AI otonom?" |
Model AI dan keamanan rantai pasokan | Risiko pada berkas dan komponen yang menjadi andalan sistem AI; model yang telah dilatih sebelumnya yang disusupi, atau paket yang rentan dalam alur kerja pelatihan. Fitur Pemindaian LLM kami memeriksa struktur model sebelum dijalankan dan menguji perilaku model yang telah diterapkan menggunakan prompt adversarial, sementara SBOM dan MetaDefender Software Supply Chain memperluas pemeriksaan serupa ke kumpulan komponen yang lebih luas yang menjadi andalan alur kerja AI. | Apakah berkas model itu sendiri yang diperiksa, atau hanya data yang diprosesnya saat runtime? | "Cegah Ancaman pada Model LLM dan ' Supply Chain ': Lakukan pemindaian terhadap model LLM sumber terbuka, berkas model, dan artefak terkait untuk mendeteksi malware, konten berbahaya, serta data sensitif sebelum semuanya dimasukkan ke dalam lingkungan AI perusahaan." |
Keamanan data pelatihan AI/ML | Melakukan validasi terhadap kumpulan data pelatihan, sumber RAG, dan konten data lake yang menjadi masukan bagi pipa kerja AI dan analitik sebelum proses pengambilan data; data yang terkontaminasi atau tidak dapat dipercaya dapat memengaruhi model dengan cara yang sama seperti halnya ketergantungan yang terkompromi. | Apakah data tersebut disaring sebelum dimasukkan ke dalam “danau”, atau hanya setelah model dilatih menggunakan data tersebut? | "Data Pelatihan AI/ML: Lindungi data yang digunakan untuk melatih model AI, LLM, dan aplikasi RAG dengan memastikan bahwa hanya dokumen, kode, kumpulan data, dan repositori pengetahuan yang tepercaya yang dimasukkan ke dalam alur kerja AI." |
Terungkapnya data sensitif melalui kecerdasan buatan | Data rahasia, yang diatur, atau eksklusif yang sudah tersimpan di penyimpanan kini dapat diakses kembali begitu asisten AI seperti Copilot mampu membacanya dan menampilkannya dalam sebuah respons. | Apakah sistem pengendalian tersebut mengklasifikasikan dan membatasi data sensitif sebelum asisten AI memperoleh akses baca, atau baru setelahnya? | "Lindungi alur kerja AI yang krusial dari data yang tidak terpercaya, model yang berbahaya, dan paparan data sensitif dengan sistem keamanan berlapis yang mengutamakan pencegahan, yang dirancang khusus untuk lingkungan di berbagai sektor." |
Beberapa batasan yang perlu dijelaskan secara tegas: memverifikasi keabsahan suatu dokumen tidak menjamin kebenaran isinya, mendeteksi konten yang dihasilkan oleh AI tidak secara otomatis membuktikan adanya penipuan, dan memeriksa berkas tidak mencakup semua risiko yang timbul akibat pemberian izin yang luas kepada seorang agen. Setiap istilah di atas mengatasi bagian tertentu dari masalah, bukan seluruh risikonya.
Di Mana Ketentuan Ini Muncul dalam Pekerjaan Sehari-hari
Tabel di bawah ini mengaitkan situasi sehari-hari yang umum dengan teknologi " OPSWAT " yang dapat mengatasinya.
Alur kerja sehari-hari | Yang Anda butuhkan | Hubungan yang relevan dengan OPSWAT |
Dokumen masuk ke asisten atau alur kerja RAG | Periksa berkas dan terapkan kebijakan sebelum memproses atau mengindeks | MetaDefender Core dan Batasan untuk LLM |
Berkas-berkas rahasia diunggah ke layanan AI | Mendeteksi data sensitif, memblokir, atau menyamarkan sebelum data tersebut dikirimkan | Proactive DLP, melalui MetaDefender ICAP Server |
Tim-tim memperkenalkan model AI pihak ketiga | Periksa berkas model dan uji perilaku setelah diterapkan | MetaDefender Pemindaian LLMAether: analisis statis dan dinamis |
Faktur, klaim, atau gambar memengaruhi proses persetujuan | Mengidentifikasi indikator konten yang dihasilkan oleh AI dan indikator penipuan | Temuan AI Content Inspector mendukung hasil tinjauan tersebut |
Berkas proyek AI dipindahkan antar tim atau disimpan di penyimpanan | Menerapkan proses pemeriksaan dalam alur kerja pemindahan dan penyimpanan | MetaDefender Managed File Transfer dan MetaDefender Storage Security |
Lihat Penerapannya dalam Praktik
Kami mengembangkan teknologi yang mendasari banyak istilah yang dibahas di sini, mulai dari fitur “Pre-Execution Detection” dari Predictive Alin AI dalam “ MetaDefender ” Aether, hingga pemeriksaan keaslian konten oleh AI Content Inspector dan teknologi “ Proactive DLP ” untuk penyamaran data sensitif. Lihat bagaimana teknologi-teknologi ini dapat diterapkan pada alur kerja data, model, dan LLM Anda sendiri.
Penelitian terbaru memperkuat apa yang digambarkan oleh istilah-istilah tersebut. Laporan Keamanan File Perusahaan 2026 dari OPSWAT, yang disusun oleh Osterman Research, menemukan kesenjangan yang parah antara kemampuan dan tingkat keyakinan: 73,6% pemimpin bidang keamanan menilai keamanan file mereka sudah sangat atau sangat matang, namun tidak ada satu pun organisasi yang bukti kinerjanya mencapai dua tingkatan teratas, dan 94,5% di antaranya menilai diri mereka lebih tinggi daripada yang didukung oleh praktik nyata mereka.
Kesenjangan tersebut semakin melebar dengan cepat: kekhawatiran terhadap ancaman yang dihasilkan oleh AI dan mampu mengelabui sistem pertahanan berbasis AI meningkat sebesar 87% dalam setahun terakhir. Hal ini juga terlihat pada teknologi tertentu; Content Disarm and Reconstruction (CDR) dan Multiscanning —dua istilah yang telah dibahas di atas—termasuk dalam kategori penerapan berorientasi pencegahan yang paling kurang matang dalam studi tersebut, dengan hanya 22,9% dan 25,9% yang dinilai “sangat matang”.
Pertanyaan yang Sering Diajukan
Apa perbedaan antara istilah-istilah keamanan seperti penyerang, pembela, dan sistem AI?
Istilah penyerang menggambarkan bagaimana AI mempercepat serangan, seperti malware yang dihasilkan AI atau data poisoning. Istilah pertahanan menggambarkan bagaimana AI memperkuat deteksi, seperti deteksi prediktif, deteksi pra-eksekusi, atau DLP yang didukung AI. Istilah keamanan sistem AI menggambarkan risiko dalam sistem AI itu sendiri, berkas model, agen, dan data pelatihan, yang tetap ada terlepas dari apakah ada penyerang yang terlibat atau tidak. Teknik dasar yang sama dapat muncul di lebih dari satu kelompok, sehingga pembagian ini bergantung pada siapa yang bertindak dan apa yang sebenarnya berisiko.
Apakah sistem kontrol memeriksa berkas asli, teks yang diekstraksi, artefak model, atau respons model secara real-time?
Ini adalah empat poin pemeriksaan yang berbeda, dan penyedia layanan yang mengklaim menawarkan “keamanan berbasis AI” mungkin hanya mencakup satu di antaranya. Tanyakan secara spesifik poin mana yang dimaksud sebelum berasumsi bahwa poin-poin lainnya juga termasuk.
Di mana proses pemeriksaan dilakukan, dan apakah alur kerja tersebut dapat memblokir atau mengkarantina konten, bukan sekadar menandainya?
Pendeteksian tanpa titik penegakan tetap memungkinkan konten berisiko lolos. Pastikan apakah kontrol tersebut diterapkan secara inline sebelum konten dikirimkan atau hanya melaporkan setelah kejadian.
Risiko apa saja yang memerlukan pengendalian tambahan pada tingkat aplikasi, identitas, atau agen, selain pemeriksaan berkas dan konten?
Izin agen, tata kelola identitas, dan pemeriksaan tingkat berkas biasanya ditangani oleh alat-alat terpisah, bahkan di dalam tumpukan keamanan yang sama. Tanyakan apa saja yang secara eksplisit di luar cakupan, bukan hanya apa yang termasuk di dalamnya.
