Ασφάλεια ΤΝ

Συμβουλευτική ασφάλειας ΤΝ

Η έγχυση εντολών, η διαρροή δεδομένων μέσω της εξόδου του μοντέλου, η κατάχρηση εργαλείων και η δηλητηριασμένη ανάκτηση δεν είναι παραλλαγές γνωστών διαδικτυακών ευπαθειών. Μοντελοποιούμε απειλές ειδικά για συστήματα ΤΝ και σχεδιάζουμε την αρχιτεκτονική και τους ελέγχους που περιορίζουν όσα βρίσκουμε.

Συζητήστε την πρωτοβουλία σας για ΤΝ Συμβουλευτική

Το επιχειρηματικό πρόβλημα

Το όριο εμπιστοσύνης μετακινήθηκε και κανείς δεν το ξανασχεδίασε

Στις συμβατικές εφαρμογές, τα δεδομένα και οι εντολές είναι χωριστά. Σε συστήματα χτισμένα γύρω από γλωσσικά μοντέλα φτάνουν από το ίδιο κανάλι, οπότε κάθε περιεχόμενο που διαβάζει το μοντέλο είναι δυνητικά εντολή. Αυτή η μόνη ιδιότητα σπάει παραδοχές σε όλο το μοντέλο ασφάλειας: ένα έγγραφο, μια ιστοσελίδα, ένα email ή ένα αίτημα υποστήριξης μπορεί να φέρει εντολή που το μοντέλο θα ακολουθήσει. Προσθέστε εργαλεία και πρόσβαση σε συστήματα, και η συνέπεια παύει να είναι λάθος απάντηση και γίνεται ενέργεια.

Τι κάνουμε

Μοντελοποιήστε απειλές και μετά περιορίστε εκ σχεδιασμού

Διαπιστώνουμε τι θα στόχευε ένας επιτιθέμενος και τι θα κέρδιζε, και μετά σχεδιάζουμε ώστε η εφικτή ζημιά να είναι φραγμένη ανεξάρτητα από τη συμπεριφορά του μοντέλου. Αυτό σημαίνει ελάχιστα δικαιώματα εργαλείων, επικυρωμένες κλήσεις, αντιμετώπιση του ανακτημένου περιεχομένου ως μη έμπιστων δεδομένων, σημεία έγκρισης σε ενέργειες με συνέπειες, και ελέγχους εξόδου όπου το κείμενο του μοντέλου φτάνει σε άλλο σύστημα. Ορίζουμε επίσης τι πρέπει να καταγράφεται, γιατί ο περιορισμός χωρίς ανίχνευση είναι μισός έλεγχος.

Συμβουλευτική ασφάλειας ΤΝ

Δυνατότητες

Μοντελοποίηση απειλών ΤΝ
Αρχιτεκτονική ασφάλειας LLM
Αρχιτεκτονική ασφάλειας πρακτόρων
Αξιολόγηση κινδύνου ΤΝ
Κίνδυνος έγχυσης εντολών
Αξιολόγηση διαρροής δεδομένων
Κίνδυνος εφοδιαστικής αλυσίδας ΤΝ
Ασφαλής αρχιτεκτονική ΤΝ

Συνήθεις περιπτώσεις χρήσης

Μοντελοποίηση απειλών για εφαρμογή ΤΝ πριν βγει στην παραγωγή.
Θέσπιση ασφαλούς αρχιτεκτονικής αναφοράς πάνω στην οποία χτίζουν άλλες ομάδες.
Αξιολόγηση υπάρχοντος βοηθού που έχει πρόσβαση σε συστήματα την οποία δεν έχει ελέγξει κανείς.
Ορισμός του τι πρέπει να τεκμηριώσει ένας προμηθευτής πριν εγκριθεί η λειτουργία ΤΝ του.

Πώς παραδίδουμε

Μοντέλο απειλών

Διαπίστωση του τι θα στόχευε ένας επιτιθέμενος και τι θα κέρδιζε φτάνοντας εκεί.
Δοκιμές

Επιθετικές δοκιμές έναντι ρεαλιστικής κατάχρησης, όχι λίστα γνωστών συμβολοσειρών.
Αναφορά

Ευρήματα με βήματα αναπαραγωγής, σοβαρότητα και διόρθωση, ταξινομημένα κατά εκμεταλλευσιμότητα.
Επανέλεγχος

Επιβεβαίωση ότι οι διορθώσεις κρατούν, με τις δοκιμές να παραμένουν ώστε να φαίνονται οι υποτροπές.

Τεχνολογία

OWASP LLM Top 10
MITRE ATLAS
Garak
Burp Suite
ISO/IEC 27001

Ασφάλεια και διακυβέρνηση

Οι δοκιμές εγκρίνονται εγγράφως, οριοθετούνται σε συμφωνημένους στόχους και εκτελούνται σε περιβάλλον εκτός παραγωγής, εκτός αν αποφασίσετε διαφορετικά. Τα ευρήματα αντιμετωπίζονται ως εμπιστευτικά και γνωστοποιούνται σε εσάς πριν από οποιονδήποτε άλλον. Τίποτα δεν διατηρείται πέραν του έργου εκτός από την αναφορά και τις δοκιμές παλινδρόμησης που ζητήσατε να αφήσουμε.

Independently audited against

Μοντέλα συνεργασίας

Συμβουλευτική ΤΝ

Έμπειροι σύμβουλοι παρέχουν στρατηγική, αρχιτεκτονική, αξιολόγηση και καθοδήγηση μετασχηματισμού.

Έργο ΤΝ

Αναλαμβάνουμε την ευθύνη να σχεδιάσουμε και να παραδώσουμε μια καθορισμένη λύση ΤΝ.

Διαχειριζόμενη ΤΝ

Λειτουργούμε, παρακολουθούμε και βελτιώνουμε συνεχώς συστήματα ΤΝ σε παραγωγή.

Γιατί TeamExtension.ai

Η αρχιτεκτονική είναι ο μόνος διαρκής έλεγχος

Τα φίλτρα και τα προστατευτικά αξίζουν και τελικά θα παρακαμφθούν. Οι έλεγχοι που κρατούν είναι αρχιτεκτονικοί: τι επιτρέπεται να φτάσει το σύστημα, τι μπορεί να κάνει εκεί, και τι απαιτεί άνθρωπο. Σχεδιάζουμε από αυτή την παραδοχή, γι' αυτό και οι συστάσεις μας αφορούν συνήθως δικαιώματα και όρια αντί για κανόνες ανίχνευσης.

Επιλεγμένοι πελάτες

Συχνές ερωτήσεις

Μπορεί να λυθεί η έγχυση εντολών;

Δεν εξαλείφεται. Μετριάζεται με αρχιτεκτονική: αντιμετωπίστε κάθε ανακτημένο περιεχόμενο ως μη έμπιστο, οριοθετήστε στενά τα εργαλεία, βάλτε τις ενέργειες με συνέπειες πίσω από έγκριση, και σχεδιάστε ώστε μια επιτυχής έγχυση να φτάνει σε κάτι φραγμένο. Όποιος υπόσχεται πλήρη πρόληψη πουλά φίλτρο.

Τα υπάρχοντα τεστ διείσδυσής μας το καλύπτουν;

Μόνο εν μέρει. Ο συμβατικός έλεγχος καλύπτει την επιφάνεια της εφαρμογής γύρω από το μοντέλο. Τυπικά δεν καλύπτει την έγχυση μέσω ανακτημένου περιεχομένου, τη διαρροή μέσω της εξόδου ή την κατάχρηση εργαλείων, γιατί δεν είναι συμβατικές κατηγορίες ευπαθειών.

Ποιο είναι το συχνότερο εύρημα;

Υπερβολικά ευρέα δικαιώματα εργαλείων. Τα συστήματα παίρνουν ευρεία πρόσβαση κατά την ανάπτυξη επειδή βολεύει, και το εύρος δεν περιορίζεται ποτέ πριν την παραγωγή. Είναι επίσης συνήθως το φθηνότερο εύρημα προς διόρθωση.

Πώς ταιριάζει με την υπάρχουσα λειτουργία ασφάλειάς μας;

Την επεκτείνει. Δουλεύουμε με την ομάδα ασφάλειάς σας και όχι γύρω από αυτήν, και το αποτέλεσμα προορίζεται να γίνει δικό τους πρότυπο και όχι δική μας αναφορά. Όπου τους λείπει βάθος ειδικά για ΤΝ, το χτίζουμε μαζί τους.

Σχετικές δυνατότητες

Διακυβέρνηση, κίνδυνος και συμμόρφωση ΤΝ

Διακυβέρνηση ΤΝ

Θεσπίστε τις πολιτικές, τους ελέγχους και τις ευθύνες που απαιτούνται για ασφαλή ανάπτυξη ΤΝ σε εταιρική κλίμακα.

Μάθετε περισσότερα

Υποδομή ΤΝ και LLMOps

Αρχιτεκτονική ΤΝ

Σχεδιάστε την αρχιτεκτονική αναφοράς που μοιράζονται τα συστήματα ΤΝ σας: μοντέλα, ανάκτηση, ενορχήστρωση, δεδομένα και έλεγχοι.

Μάθετε περισσότερα

Διακυβέρνηση, κίνδυνος και συμμόρφωση ΤΝ

Ετοιμότητα για τον Κανονισμό ΤΝ της ΕΕ

Ταξινομήστε τα συστήματα ΤΝ σας, χαρτογραφήστε τις υποχρεώσεις που απορρέουν και καλύψτε τα κενά πριν γίνουν δεσμευτικές.

Μάθετε περισσότερα

Συζητήστε την πρωτοβουλία σας για ΤΝ

Μοντελοποιήστε απειλές για συστήματα ΤΝ και σχεδιάστε την αρχιτεκτονική, τους ελέγχους και τα όρια που περιορίζουν τον κίνδυνο.

Μιλήστε με ειδικό ΤΝ Ξεκινήστε αξιολόγηση ΤΝ