{ "cells": [ { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "452305db-662c-4b4e-aa92-79d92fa4544d" }, "slideshow": { "slide_type": "slide" } }, "source": [ "###
Seminario - Programa de Historia Económica y Social - Udelar
\n", "\n", "###
Predicting Skills of Runaway Slaves in São Paulo, 1854-1887
\n", "\n", "####
Renato Perim Colistete - FEA-USP
\n", "\n", "\n", "####
3/11/2022
" ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "1fc7160f-beb4-4997-9c3f-0553e0592605" }, "slideshow": { "slide_type": "slide" } }, "source": [ "## Objetivos\n", "\n", "O principal objetivo deste artigo é tentar entender melhor o perfil e as características dos escravos qualificados (*skilled*) em uma das principais regiões de *plantations* no Brasil - São Paulo na segunda metade do século XIX.\n", "\n", "Para tanto, utilizo uma fonte muito rica e relativamente pouco explorada: os anúncios de escravos fugidos na província de São Paulo entre 1854 a 1887, um ano antes da abolição.\n", "\n", "Esse segmento dos escravos com ocupações artesanais tem sido pouco estudado ou mesmo desconsiderado na literatura, em parte pela influência da tradição historiográfica que enfatiza anomia e incapacidade dos escravizados sob o regime opressivo da escravidão. " ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## Anúncios\n", "\n", "Os anúncios de fugas foram coletados em quatro jornais da capital: *Correio Paulistano* (1854-1887), *Diario de S. Paulo* (1865-1878), *Jornal da Tarde* (1878-1881) e *Provincia de São Paulo* (1875-1887)." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "Esses quatro jornais são os únicos disponíveis com publicação consistente e regular nos períodos em que circularam na província de São Paulo. Ainda assim, não há dados para dois anos da série - 1860 e 1861." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "Os anúncios trazem grande número de detalhes dos escravos: por exemplo, sexo, idade, local de nascimento e residência, detalhes físicos como cor da pele e altura, marcas de ferimentos e castigos, habilidades como fala, leitura e escrita, além de ocupações." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "Cada número desses jornais foi consultado e ao final foram identificados 3.376 escravos fugitivos nos anúncios, residentes na capital e nos municípios do interior de São Paulo entre 1854 e 1887." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "###
Anúncio no Correio Paulistano em 1880
\n", "\n", "
" ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "1acbc207-c8bb-4376-a328-421bbf9520c4" }, "slideshow": { "slide_type": "slide" } }, "source": [ "## Os dados\n", "\n", "Para esse total de 3.376 *runaways*, porém, as informações são completas apenas para algumas características, como gênero. Para idade, por exemplo, só há dados relativos a 81% dos escravos registrados. " ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "f3dfbdf9-fe1d-4356-9ad0-df395911e6f3" }, "slideshow": { "slide_type": "fragment" } }, "source": [ "E para ocupações, o tema do artigo, a situação é ainda pior: há apenas 994 escravos com informações sobre o tipo de trabalho em que se ocupavam (29% do total)." ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "bb419a40-14ab-48cd-8328-1c62b7f7bd0a" }, "slideshow": { "slide_type": "fragment" } }, "source": [ "Ou seja, os anúncios não registraram as ocupações de 2.382 escravos que fugiram no período." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## Distribuição espacial\n", "\n", "A distribuição geográfica dos escravos qualificados que fugiram acompanha em linhas gerais a distribuição da produção de café nos municípios da província de São Paulo." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "Porém, em termos relativos, a Capital (uma área não cafeeira) teve a maior parcela (25,2%) dos escravos qualificados anunciados, um pencentual muito mais alto do que os escravizados maiores de 10 anos residentes na Capital (3,7%) em 1872. " ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "Esse fato reflete o viés dos jornais baseados na capital da província e que foram utilizados na pesquisa. Os jornais eram lidos em toda a província, mas refletiam mais os acontecimentos na capital." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "Mesmo assim, com exceção do caso da Capital, os maiores municípios cafeeiros concentram os maiores percentuais de escravos qualificados: Campinas (15,1%), Itatiba (4,7%), Piracicaba (4,3%), Itu (3,9%), Jundiaí (3,7%), Mogi Mirim (3,4%), Limeira (3,0%) e Rio Claro (2,8%)." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ " Ver o mapa abaixo:" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "###
Distribuição geográfica dos escravos fugitivos, 1854-1887
\n", "\n", "
" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## Definição de skills\n", "\n", "A definição de trabalho qualificado (*skilled*) adotada corresponde a ofícios e ocupações artesanais. A vantagem é que um conceito amplamente utilizado e relativamente preciso." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "A desvantagem é que ofícios artesanais se revelam \"gendered occupations\" em todas as economias de *plantation* nas Américas, excluindo portanto a grande maioria das mulheres de sua definição." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "As ocupações artesanais incluem atividades como carpinteiros, ferreiros, alfaiates, sapateiros e mecânicos." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "Abaixo, i) a lista das ocupações com a classificação de *skills* e ii) uma figura com o número de *runaways* ano a ano e a frequência das observações:" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "
" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "###
Informações de escravos fugitivos nos anúncios por ano
\n", "\n", "
" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## Características dos escravos\n", "\n", "As informações dos escravos extraídas dos anúncios incluem características individuais (idade, sexo, altura, corpo, cor, entre outras) e dados relacionados - como município e área de residência (rural ou urbana), província de nascimento e nacionalidade (África ou Brasil)." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "As características dos escravos e as demais informações relacionadas que foram extraídas dos anúncios são listadas abaixo." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "Observem que o número de observações para cada característica (*feature*) é desbalanceado, como comentado antes." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "####
\n", "\n", "
" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "## Convenções e padronização\n", "\n", "Uma série de passos foram necessários para preparar os dados para análise. Por exemplo, os anúncios de 1 escravo fugitivo costumavam ser publicados por vários dias, o que fez necessário separar casos únicos dos repetidos. " ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "Da mesma forma, escravos tinham nomes comuns e não recebiam sobrenomes, o que exigiu utilizar características pessoais, nome dos proprietários e outros detalhes para identificar os escravos individualmente." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "Várias convenções foram necessárias devido à imprecisão dos anúncios. As idades eram divulgadas de forma ambígua, p. ex., \"entre 18 e 22 anos\" ou \"mais ou menos 25 anos\". Adotou-se nesses casos a média ou o número mais próximo como idade estimada." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "Outro exemplo: a altura era relatada normalmente com expressões não numéricas (\"regular\", \"alto\", \"baixo\", etc.). A partir de estudos antropométricos, adotou-se a média de 1,64 and 1,66 cm como referência para a altura \"regular\" e as demais. E assim por diante." ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "13c81a42-221c-45fd-bde2-343bbcc74678" }, "slideshow": { "slide_type": "slide" } }, "source": [ "## Análise\n", "\n", "O exercício realizado no paper busca contornar a restrição dos dados sobre as ocupações utilizando modelos de *machine learning*. Resumidamente, a análise é feita em três passos:" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "- primeiro, apresenta-se um exame detalhado das características individuais mais importantes dos *skilled runaways* no grupo em que há dados de ocupação (994 escravos); ou seja, quem eram esses escravos?" ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "69b2baa0-ed18-483e-8653-50f0e5c1d94f" }, "slideshow": { "slide_type": "fragment" } }, "source": [ "- Segundo, as características dos escravos do grupo com ocupações conhecidas (994 *runaways*) são utilizadas para predizer, com modelos de *machine learning*, se a maioria sem informação de ocupações (2.382 runaways) era \"*skilled*\" ou \"*low skilled*\";" ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "1674bcc2-8448-4b20-8203-e741d2f6048b" }, "slideshow": { "slide_type": "subslide" } }, "source": [ "- terceiro, os resultados da classificação dos escravos como *skilled* ou *low skilled* do grupo de 2.382 fugitivos (classificação obtida com o melhor modelo de *machine learning*) são comparados com aqueles anteriormente descritos para o grupo com ocupação conhecida (994 escravos)." ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "8b4f0472-cccb-4d13-abbd-187d93bc9309" }, "slideshow": { "slide_type": "slide" } }, "source": [ "## Modelos\n", "\n", "Como são implementados os modelos: o conjunto de 994 fugitivos com ocupações foi dividido em i) um grupo (75% do total) utilizado para treinar os modelos e ii) um grupo de teste (25%) no qual os modelos foram aplicados e suas predições comparadas com os valores observados, isto é, efetivos, reais." ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "794d2206-833d-419a-b3b9-b12875162c7e" }, "slideshow": { "slide_type": "fragment" } }, "source": [ "Utilizando o módulo [*scikit-learn*](https://scikit-learn.org/stable/), seis algoritmos foram implementados e seus resultados comparados com diferentes métricas de desempenho." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "Todas as medidas utilizadas convergiram para o algoritmo *XGBoost classifier* como sendo aquele com a maior capacidade de predizer as qualificações (*skilled* ou *low skilled*) dos *runaways* no grupo de teste (25% de 994 escravos). Os resultados resumidos a seguir:" ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "###
Métricas de desempenho
\n", "\n", "
" ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "1a43feb9-1cad-4162-a6ad-b16662fbb6a4" }, "slideshow": { "slide_type": "slide" } }, "source": [ "### Quais são os resultados principais?\n", "\n", "- Escravos qualificados, com ocupações artesanais, estavam presentes em grande número em fazendas - isto é, *não* se concentraram apenas em áreas urbanas, como é frequentemente retratado na literatura." ] }, { "cell_type": "markdown", "metadata": { "nbpresent": { "id": "383dda45-dccb-4fde-a663-f4b4f94a501e" }, "slideshow": { "slide_type": "fragment" } }, "source": [ " - a grande maioria dos escravos que fugiam era do sexo masculino e homens eram alocados preferencialmente para ocupações artesanais qualificadas em detrimento de mulheres." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ " - Escravos qualificados tendiam a ser mais velhos do que os não qualificados, indicando a importância do tempo de aprendizado e conhecimento acumulado nos ofícios artesanais." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ " - Ao contrário do que geralmente se afirma na historiografia, escravos Africanos (\"de nação\") exerceram relativamente tanto ou mais ocupações qualificadas do que escravos nascidos no Brasil (\"crioulos\")." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ "- Da mesma forma, a diferença de qualificações entre pardos e pretos não se mostrou estatisticamente significativa, sugerindo que a cor da pele *não* foi relevante para a distribuição de skills entre escravos." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "fragment" } }, "source": [ " - Por fim e muito importante: os poucos escravos que sabiam ler ou escrever podem ter sido favorecidos na distribuição de ocupações mais qualificadas, o que pode indicar que educação tenha sido um diferencial para melhores condições materiais mesmo sob as condições extremas de opressão e violência da escravidão." ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "subslide" } }, "source": [ "Concluindo: esses resultados são importantes tanto para a análise de aspectos pouco conhecidos da escravidão no Brasil quanto para comparações com outras sociedades escravistas nas Américas. " ] }, { "cell_type": "markdown", "metadata": { "slideshow": { "slide_type": "slide" } }, "source": [ "###
Muchas gracias!
" ] } ], "metadata": { "celltoolbar": "Slideshow", "kernelspec": { "display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.9.13" }, "livereveal": { "autolaunch": true }, "toc": { "base_numbering": 1, "nav_menu": {}, "number_sections": false, "sideBar": false, "skip_h1_title": false, "title_cell": "Table of Contents", "title_sidebar": "Contents", "toc_cell": false, "toc_position": {}, "toc_section_display": false, "toc_window_display": false } }, "nbformat": 4, "nbformat_minor": 2 }