Inspetor de pickle do Python

Como usar

1. Solte na caixa um .pkl, um .pickle ou qualquer objeto serializado com pickle. Nada é enviado e nada é desserializado: o arquivo só é desmontado.
2. Leia primeiro o painel de achados. «Apenas dados» quer dizer que nenhum opcode do arquivo consegue importar ou chamar nada. Se ele listar importações, trate o arquivo como código não confiável e não o carregue.
3. Compare o protocolo declarado com o necessário. Um arquivo que declara o protocolo 2 mas usa opcodes do 4 foi montado à mão, não escrito pelo pickle.dumps.
4. Percorra a tabela de opcodes. A indentação segue o aninhamento do MARK, então cada contêiner se lê como um bloco, e a coluna da pilha mostra quantos valores seguem vivos depois de cada passo.
5. Abra a tabela do memo para achar objetos compartilhados: uma chave com reutilização maior que zero é um mesmo objeto aparecendo em vários lugares, e é assim também que um ciclo é escrito.

Perguntas frequentes

É seguro abrir aqui um pickle de origem desconhecida?

É, porque aqui nada é desserializado. O arquivo é lido opcode a opcode, exatamente como o pickletools.dis o lê, e a única coisa que acontece com um opcode GLOBAL ou REDUCE é os nomes de módulo e atributo serem impressos. Nada é importado e nada é chamado, e a remontagem para nos valores que dá para formar só com opcodes. O arquivo também não sai do seu navegador: é lido com a File API e analisado na própria página. O que a ferramenta não pode fazer é tornar o arquivo seguro depois; se o painel de achados listar importações, um pickle.load sobre esse mesmo arquivo continuará realizando-as.

Por que um pickle consegue executar código? Parece um formato de serialização.

Porque serializar objetos arbitrários exige um jeito de recriá-los, e a resposta do Python é o __reduce__: o objeto informa qual invocável, com quais argumentos, vai reconstruí-lo. O fluxo então guarda um nome a importar e uma chamada a fazer, e o desserializador executa as duas coisas. Esse único mecanismo é o que torna serializáveis os objetos datetime, os arrays do numpy e qualquer classe sua, e é o mesmo mecanismo que um atacante usa escrevendo os.system no lugar de datetime.datetime. Nada no formato separa os dois casos, e é por isso que ler os opcodes é a única forma de saber o que um arquivo vai fazer.

Para que serve o memo e como um ciclo aparece nele?

O memo é a tabela de objetos que o serializador já escreveu. Quando o mesmo objeto reaparece, a segunda ocorrência é uma busca no memo: PUT e GET no protocolo 0, BINPUT e BINGET depois, e MEMOIZE a partir do protocolo 4, que numera as chaves implicitamente em vez de escrevê-las. É isso que preserva a identidade: dois nomes que apontavam para uma lista continuam apontando para uma só lista depois do carregamento. Um ciclo é esse mesmo mecanismo um passo adiante: o contêiner vai para o memo antes de o conteúdo ser escrito, então o conteúdo pode se referir de volta a ele. Por isso uma lista que contém a si mesma é representável, e por isso aqui a referência é mostrada em vez de expandida sem fim.

O que muda de fato entre as seis versões do protocolo?

O protocolo 0 é ASCII: inteiros, floats e cadeias são escritos como texto terminado em quebra de linha, e por isso um pickle de protocolo 0 quase dá para ler a olho nu. O 1 acrescenta a forma binária de quase tudo. O 2 acrescenta construção eficiente de classes com NEWOBJ, tuplas de um byte e booleanos de verdade. O 3 acrescenta objetos bytes, que o Python 2 não conseguia representar. O 4 acrescenta os quadros, que cortam o fluxo em blocos com o comprimento à frente para o leitor puxar pedaços inteiros, além de tamanhos de 64 bits, STACK_GLOBAL, suporte nativo a conjuntos e chaves de memo implícitas. O 5 acrescenta os buffers fora de banda, em que um array grande viaja ao lado do fluxo e não dentro dele: por isso o NEXT_BUFFER pode aparecer sem dados atrás.

O arquivo tem bytes depois do STOP. O que isso significa?

O STOP encerra um pickle, e tudo depois dele pertence ao que vier a seguir. Escrever vários pickles em um arquivo só é um padrão comum — um laço de pickle.dump em um arquivo aberto, relido com um laço de pickle.load —, então bytes sobrando muitas vezes significam apenas que o arquivo guarda uma série de registros e não um objeto único. Também é o jeito de esconder uma segunda carga atrás de uma primeira inofensiva, já que um programa que chama load uma vez só vê o primeiro objeto e nunca olha o resto. Esta ferramenta desmonta o primeiro pickle e informa quantos bytes sobraram; para examinar o restante, corte o arquivo no deslocamento do STOP e abra a cauda separadamente.

Dá para ver o conteúdo de um array do numpy ou de um DataFrame do pandas?

Os valores não, porque esses objetos são remontados chamando o numpy e o pandas: o fluxo nomeia algo como numpy.core.multiarray._reconstruct ou uma classe do pandas, entrega a ela uma cadeia de bytes, e o array só existe depois que essa chamada roda. O que dá para ver é o formato do arquivo: os nomes que ele importaria, os buffers brutos que carrega e o tamanho deles, o que costuma bastar para dizer se o arquivo é o que afirma ser. Num arquivo de protocolo 5 os dados do array podem nem estar dentro dele: NEXT_BUFFER quer dizer que a carga foi passada fora de banda e precisa ser fornecida por quem chama.

Ferramentas relacionadas