Staticamente, usa IDA per trovare tutti i riferimenti incrociati ai "vari algoritmi in uso" per determinare come trovano le chiavi che usano.

Dinamicamente, usa un debugger per impostare i punti di interruzione sui "vari algoritmi in uso ", consentendo così di esaminare gli stack di chiamate e determinare come trovano le chiavi che usano.

Supponendo che tu stia parlando di crittografia avanzata, la maggior parte degli algoritmi dovrebbero essere indistinguibili anche se hai fornito la chiave o il testo in chiaro. Quindi, non dovrebbe essere possibile sapere che una determinata chiave viene utilizzata solo guardando il risultato.

Un esempio di questo è il campo della Kleptografia dove:

[...] gli output del criptosistema infetto sono computazionalmente indistinguibili da gli output del corrispondente crittosistema non infetto. Quindi, nelle implementazioni a scatola nera (ad esempio, smartcard) è probabile che l'attacco passi del tutto inosservato.

Come avrai notato, la Kleptografia è sicura solo su implementazioni a scatola nera, quindi c'è davvero spazio per il rilevamento negli attacchi white box.

Ma non ho abbastanza esperienza in questo argomento per darti consigli generali al riguardo. Tranne il fatto che dovresti iniziare a guardare all'implementazione nel mondo reale delle backdoor crittografiche prima di provare a rilevarle. Potresti esplorare alcuni di questi link:

• The Dark Side of Cryptography: Kleptography in Black-Box Implementations, di Bernhard Esslinger e Patrick Vacek.
• Semplici backdoor per la generazione di chiavi RSA, di Claude Crépeau e Alain Slakmon.
• Articoli sulla criptovirologia
• Uno studio completo sulle backdoor per la generazione di chiavi RSA, di Ting-Yu Lin, Hung-Min Sun e Mu-En Wu.

E così via ...