Conclusão oficial do blog: balanço e resumo das ideias

Esta postagem é o anúncio oficial do fim da publicação de novas postagens neste blog e, portanto, será a última.

Aproveitando a ocasião do meu aniversário, resolvi escrever esta conclusão oficial do blog, que há mais de um ano não tinha uma postagem nova. Aqui farei um balanço das atividades do blog e um resumo das ideias que apareceram desde agosto de 2015, quando escrevi o primeiro texto.

Ressalto que a página Ensino e Pesquisa em Direito, no Facebook, continuará suas atividades. Este blog também continuará existindo, apenas sem novidades.

Quando o criei eu estava muito insatisfeito com a qualidade do ensino e da pesquisa na área de direito, especialmente em minha experiência pessoal. Na época eu fazia mestrado em direito na UFPE. Durante a graduação, conheci professores que não tinham qualquer compromisso com a profissão de docente, que a mantinham como uma espécie de grife, pois sua profissão principal era outra, como magistratura ou advocacia pública ou privada. Mesmo professores que se dedicavam somente ao ensino, inclusive quando estavam no regime de dedicação exclusiva, não eram muito melhores. Eu e meus colegas frequentemente sentíamos que estar presente em sala de aula era uma entediante perda de tempo e que fazíamos muito melhor por conta própria. Tive alguns bons professores (inclusive, tenho grande afeição por alguns deles), no sentido de que eram bons oradores e me faziam pensar, mas sua didática também não fugia muito do modelo de aula-palestra.

Portanto, para mim era evidente que havia algo de errado com o ensino do direito, que parecia preso à época em que faltava papel e o acesso à informação era escasso.

À medida que eu conhecia a pesquisa em outras áreas, como as ciências sociais, a filosofia e a ciência da computação, também me pareceu mais e mais claro que havia algo de errado com a pesquisa em direito, que se reduzia quase totalmente a propostas de interpretações jurídicas e que apresentava erros grosseiros, em termos de metodologia científica. Sendo sincero, a pesquisa em direito me soava muitas vezes como inúteis palavras ao vento ou falatório barato, um produto descartável, que, com sorte, chegava a ser usado em algum argumento vago de discussões forenses. Colocando de modo mais pomposo, uma retórica pseudocientífica.

A segunda metade da minha dissertação de mestrado foi dedicada à questão “Como deve ser a pesquisa em direito?”, colocada no contexto da definição do conceito de direito como forma de delimitar a Ciência do Direito - o que chamei de problema epistemológico e metodológico do conceito do direito, a definição de um objeto próprio para a investigação jurídica. Meu argumento era que o avanço da pesquisa em direito não dependia de uma resposta à pergunta “O que é o direito?” nesse sentido amplo e que, na prática, a insistência na autonomia do direito acabava sendo prejudicial ao desenvolvimento da pesquisa em direito. Argumentei que a melhor pesquisa em direito existente era interdisciplinar por necessidade e despreocupada com demarcação de fronteiras. Várias postagens deste blog são consequência direta destas ideias, embora os textos acadêmicos em direito sejam tão ruins, que algumas das postagens insistem em coisas que seriam obviedades fora do departamento de direito, como, por exemplo, evitar adjetivações e louvores a autores ( “o grande jurista austríaco” etc.).

Ao longo de mais de quatro anos de atividade deste blog, as soluções mais importantes que sugeri para estes problemas foram: (a) em relação ao ensino do direito, o emprego de diversos tipos de ensino participativo, possivelmente combinados com aulas-palestras tradicionais - que podem, inclusive, ser gravadas; (b) em relação à pesquisa em direito, um giro em direção à interdisciplinaridade, buscando ter contato com as ferramentas e a prática científica (artigos, por exemplo) de áreas afins à sua respectiva pesquisa em direito (três postagens sobre isso são 1, 2 e 3, em ordem cronológica de aparição).

Uma curiosidade é que o blog foi acessado por usuários em pelo menos dez países diferentes, sendo a maioria do Brasil e, em segundo lugar, dos EUA.

A imagem a seguir mostra as dez postagens mais populares:

É curioso notar que a postagem mais visualizada é também a mais desesperançosa, em que argumento que a carreira de pesquisador é a pior entre as opções comumente disponíveis na área de direito. Não queria frustrar os desejos de ninguém, mas quis dar uma noção realista dos desafios envolvidos, bem como dos custos de oportunidade, em seguir essa opção de carreira em direito.

Minhas duas postagens favoritas e as que considero as mais importantes são sobre ensino em direito: uma explica por que o ensino do direito é anacrônico, e a outra apresenta o ensino participativo como solução, inclusive minha experiência em empregá-lo em sala de aula. Essa postagem, aliás, contém boas referências para quem quer aprender e experimentar técnicas de ensino participativo.

Nem tudo ficou como eu gostaria: por displicência, há postagens escritas em diferentes fontes; a periodicidade entre as postagens também não foi frequente como eu gostaria. Mas é o que é.

Gostei muito de escrever para o blog ao longo desse tempo e espero ter contribuído ao menos um pouco para a melhoria da qualidade do ensino e da pesquisa em direito no Brasil. O blog continuará no ar na web, então talvez venha a ser útil para mais leitores. Um fato que me marcou foi quando, num evento na Faculdade de Direito da UFPE, um professor da UnB me reconheceu no corredor lembrando do blog, um professor que me era desconhecido. Fiquei feliz por esse reconhecimento e em saber que meu trabalho tinha tido aquele alcance.

Agora eu faço doutorado em ciência da computação na Unibz, na Itália, o que por si só já me exige bastante. Pensando em outros projetos, tenho me afastado das questões em torno do direito, embora não de todo. Por isso estou fechando oficialmente este blog.

Para quem quiser entrar em contato comigo, tenho vários canais.

Agradeço a todas as pessoas que alguma vez já passaram por este blog e também às que ainda passarão. 🙂

Programação para Advogadxs - FGV Direito Rio

Entre setembro e dezembro deste ano fui Research Fellow (algo como professor e pesquisador visitante) na Escola de Direito da Fundação Getúlio Vargas, no Rio de Janeiro. Durante o período, aproveitei para acompanhar uma disciplina que me chamou atenção: "Programação para Advogadxs" - esse era o nome. Nesta postagem quero falar sobre o que aprendi com a experiência, principalmente sobre ensino, e por que essa foi uma das melhores disciplinas que já cursei na vida.

Embora eu não tenha conseguido me matricular oficialmente, porque os prazos já haviam expirado quando cheguei, fiz todas as atividades da disciplina, que incluíam fundamentalmente três projetos.

A disciplina é ministrada pelo professor da FGV Direito Rio e líder do Núcleo de Ciência de Dados Jurídicos, Ivar A. Hartmann e pelo engenheiro-líder do Núcleo, Fernando Correia Jr. O site da instituição publicou uma matéria sobre a disciplina nesse semestre. Tal como entendi, os objetivos da disciplina são dois: (1) introduzir conhecimentos de programação em Python e em Banco de Dados (MySQL) úteis para as necessidades dos profissionais do direito, como automação de documentos e buscas em jurisprudência; (2) capacitar os estudantes para ter uma postura mais empreendedora, visualizando possibilidades de startups adequados à solução de problemas do mundo jurídico.

Eis o que quero pontuar de interessante e inovador na disciplina, bem como as lições pedagógicas que tirei dela:

1. É a primeira disciplina sobre programação em um curso de direito no Brasil. Depois surgiram outras iniciativas, como a da própria FGV Direito SP e uma na PUC-Rio, mas a FGV Direito Rio é a mais antiga (desde 2013) e bem estruturada.

2. A ideia não é formar advogados desenvolvedores, embora um estudante motivado possa querer seguir adiante nesses conhecimentos, mas formar juristas capazes de compreender os fundamentos das tecnologias atuais, capazes de dialogar com desenvolvedores, a fim de poder prestar melhor assistência jurídica. Se um advogado é versado nesses conhecimentos e advoga para uma startup ou para uma empresa de tecnologia consolidada, provavelmente vai se sair melhor como advogado do que se for completamente leigo em programação e tecnologias. Isso é uma visão rara em faculdades de direito, que, em sua grande maioria, estão formando profissionais do direito anacrônicos para um mundo completamente imerso na tecnologia.

3. Houve uma palestra sobre como fazer um pitch de sucesso dada por Caio Ramalho, professor da FGV e coordenador do Núcleo de Estudos em Startups, Inovação, Venture Capital e Private Equity. E houve outra palestra com Erik Navarro Wolkart, que falou do caso de sucesso de empreendedorismo do curso Ênfase, preparatório online e offline para concursos. Além disso, o terceiro projeto da disciplina, feito em grupos, consistia em fazer um pitch de uma statup legaltech/lawtech, uma apresentação não só perante alunos e professores, mas também para quatro convidados ligados ao setor de investimentos e startups; eles avaliaram os pitchs e escolheram um vencedor, que teve como prêmio seis meses de assessoria jurídica gratuita para levar a ideia adiante. Ou seja, houve uma imersão real no empreendedorismo na área jurídica, abrindo o horizonte dos estudantes de direito para possibilidades além da advocacia e do concurso público.

4. Há algo importante e geral a ser notado nessa forma de avaliação: a avaliação não foi feita apenas por um professor e a apresentação do pitch não ficou restrita à sala de aula, mas foi aberta ao público (ocorreu no hall de um dos andares do prédio) e direcionada especialmente para convidados/avaliadores experientes e especializados em negócios. A mesma lógica pode ser aplicada a projetos de outro tipo: imagine, por exemplo, um projeto no qual os estudantes precisam apresentar propostas de projetos de lei para parlamentares convidados; ou fazer uma apresentação sobre Direitos Humanos e Direito Constitucional em escolas públicas. As possibilidades pedagógicas são muitas.

5. O primeiro projeto (individual) exigia que criássemos um programa que, partindo da leitura de uma planilha (csv) com dados de clientes, gerasse automaticamente petições de Habeas Corpus (em txt) adequados para cada cliente. Dessa forma, aprendemos como era possível e de modo relativamente fácil automatizar a criação de documentos, seja por meio de perguntas, seja partindo de uma planilha - da qual se poderia gerar centenas de petições diferentes em questão de segundos.

6. O segundo projeto (também individual) exigia algo que se mostrou bem mais complicado: criar um programa que recebia um termo ou um conjunto de termos, e, procurando em uma pasta com 1501 decisões (em txt), devolvia as seguintes informações, para cada caso encontrado: (a) o nome do arquivo da decisão; (b) a data da decisão; (c) o nome do relator da decisão; (d) o trecho onde o termo aparece na decisão. Dessa forma, aprendemos como era possível fazer buscas precisas e rápidas dentro de uma quantidade de documentos com a qual seria impossível para uma pessoa lidar manualmente.

Cada projeto tinha especificações adicionais, que, na prática, o tornavam mais difícil, pois, além de resolver o problema, tínhamos que adequar a solução a certos padrões.

7. Nas aulas, aprendemos principalmente operações no Python relevantes para essas tarefas. A parte mais básica de Python ficou a cabo não de aulas em sala, mas de um curso online gratuito na plataforma Codecademy. Algumas aulas foram dedicadas para fazer os projetos em sala, recebendo assistência dos professores, e havia um dia na semana em que monitores nos auxiliavam nos projetos, para quem quisesse ir.

Como se vê, a disciplina é fortemente baseada em aprendizagem por projetos, o que, a meu ver, se mostrou uma abordagem estimulante e desafiadora. Os estudantes foram instigados a aprender, pensar e criar por conta própria, com a mediação de professores e monitores.

Certamente nem todas as faculdades de direito, incluindo públicas e privadas, possuem a infraestrutura de excelência da FGV Direito Rio. Porém, a experiência tão bem sucedida dessa disciplina mostra muito claramente como é possível ir MUITO além das tradicionais aulas-palestras e provas discursivas ou objetivas.

Site Acadêmico Profissional

A maioria dos pesquisadores bem estabelecidos internacionalmente possuem um site acadêmico profissional, no qual colocam informações sobre si mesmos, suas pesquisas, aulas, publicações, entre outras coisas. Além de ser uma forma de divulgar o próprio trabalho e ter uma espécie de portfolio, ainda pode ajudar no ensino, pois o site pode funcionar como repositório para ementas, bibliografia, e outros detalhes de cada disciplina que o professor já lecionou ou leciona. Às vezes esse site é do servidor da própria universidade, mas outras vezes é foi criado e hospedado em plataformas privadas como a Google.

Alguns exemplos:

Richard Posner - http://home.uchicago.edu/~rposner/

Catarina Dutilh Novaes - https://sites.google.com/site/catarinadutilhnovaes/

Livio Robaldo - http://www.liviorobaldo.com/

Thomas Conti - http://thomasvconti.com.br/

Pensando nisso, finalmente resolvi criar meu próprio site, usando a excelente plataforma do Novo Google Sites. Está totalmente em inglês.

O resultado vocês podem conferir no link abaixo.

https://sites.google.com/view/italojsoliveira/página-inicial

O que é um bom pesquisador

Entender o que é um bom pesquisador em direito é importante quando você procura um orientador, busca se aproximar de acadêmicos mais experientes e realmente deseja seguir os passos da pesquisa (tem certeza?). Cada área tem suas particularidades, mas em geral o que é ser um bom pesquisador se aplica a todos os campos de estudo.

Nesta postagem, vou explicar o que significa ser um bom pesquisador ou um pesquisador de alto nível ou um pesquisador importante ou qualquer coisa do gênero.

A ideia geral se traduz em resultados da pesquisa e seus impactos na área e na sociedade. Qualidades individuais não necessariamente fazem um bom pesquisador, como, por exemplo, dar boas aulas, falar alemão e ser conhecedor de música erudita.

1. O bom pesquisador possui artigos publicados em inglês em periódicos internacionais respeitados. Uma classificação internacional desses periódicos na área de direito pode ser encontrada no site da SJR. Como a avaliação das pós-graduações no Brasil e dos próprios pesquisadores é feita através do sistema Qualis de classificação, ter artigos publicados em periódicos classificados como A1 (o estrato mais alto) é indício da qualidade do pesquisador. Um bom pesquisador de ciências sociais, incluindo de direito, pode ter um perfil na SSRN, que facilita e agiliza o acesso aos seus trabalhos.

2. Entretanto, não basta ter artigos publicados nos melhores periódicos. Essa é a triagem inicial. A segunda triagem diz respeito à repercussão dos artigos: o bom pesquisador possui artigos que são altamente citados por especialistas do seu campo (e, em alguns casos, até mesmo de outras áreas), o que reflete a relevância e impacto dos seus trabalhos. Se, por acaso, o trabalho do pesquisador gerar repercussões sócias (uma nova tecnologia, uma nova legislação, políticas públicas etc.), então provavelmente esse trabalho também terá repercussão acadêmica traduzida em citações. No Currículo Lattes do pesquisador, é possível verificar essas informações (se houver).

3. O bom pesquisador sabe que, além da pesquisa em si e da incessante busca por respostas e resultados, deve apresentar seus trabalhos aos seus pares, e não só em periódicos: apresentações em conferências e eventos acadêmicos, que permitam a discussão crítica, também fazem parte da vida de um bom pesquisador.

4. Hoje a estrutura institucional da academia, cheia de pressão por produtividade, pode levar o pesquisador a se preocupar mais em publicar papers do que com a relevância da sua pesquisa. Entretanto, o bom pesquisador deve estar muito mais obcecado com problemas científicos, tecnológicos e sociais, e não com a publicação em si. A obsessão com problemas relevantes permite a criação de soluções relevantes, e isso separa as pesquisas realmente importantes daquelas que apenas preenchem periódicos e currículos.

O maior reconhecimento que um pesquisador pode ter é ver seu trabalho ter repercussão, acadêmica ou social – e essa repercussão pode atrair prêmios. Mas na área de direito existe uma prática comum que distorce o reconhecimento acadêmico e pode induzir novatos a erros na avaliação de um pesquisador: as homenagens. Não é raro ver congressos e eventos em homenagens a determinado professor, pesquisador, advogado e outras personalidades do mundo jurídico, que pouco ou nada acrescentaram à solução de problemas científicos ou sociais. O porquê disso é uma questão em aberto para uma pesquisa empírica sobre o assunto, mas provavelmente tem a ver com uma cultura jurídica que preza pelo fortalecimento de laços sociais como principal forma de ascensão profissional. Em outras áreas, grandes homenagens são raríssimas, e destinadas somente àquelas figuras cujos trabalhos geraram sério impacto – e às vezes mudaram o mundo para sempre.

Para exemplos de boas pesquisas e bons pesquisadores, ver as postagens:

Pesquisas de Ponta em Direito – Parte 1

Pesquisas de Ponta em Direito – Parte 2

Para evitar alguns erros amadores como pesquisador, ver aqui.

Se você é uma criatura persistente que, apesar de tudo, deseja seguir uma carreira séria da pesquisa em direito, as duas postagens abaixo lhe serão de ajuda:

Dicas práticas para fazer pesquisa séria em direito

Diminuindo as deficiências da formação jurídica para pesquisa

Dicas para entrar numa pós-graduação em direito

O termo “pós-graduação”, em sentido amplo (lato sensu), se refere a tudo o que faz parte da sua formação educacional após a graduação e, de modo um pouco mais específico, à especialização, ao mestrado e ao doutorado. Em sentido mais estrito (stricto sensu), pós-graduação se refere ao mestrado e doutorado, ambos com o propósito acadêmico, isto é, de formar possíveis professores e pesquisadores, além de produzir conhecimento – diferente da especialização e do mestrado profissional, voltados para um aprimoramento do profissional na sua área de trabalho.

Aqui, trago algumas dicas para entrar num programa de mestrado ou doutorado em direito. Mas imagino que as dicas tenham validade geral para outras áreas.

1. Escolha por afinidade: Idealmente, escolha um programa com o qual você tem afinidade, isto é, tem interesse nas linhas de pesquisa ou onde possa desenvolver suas pesquisas de maior interesse. Isso porque pesquisar exige motivação e curiosidade, tesão pelo que se está fazendo. Caso contrário, a experiência pode ser bastante frustrante e as dificuldades terão um peso muito maior.

2. Atenção para o edital: Uma vez escolhido o programa (ou mais de um), o primeiro obstáculo que você precisa superar é o entendimento dos detalhes do edital. Isso vale para qualquer concurso. Por pequenos detalhes, como uma data, um documento ou uma exigência adicional, você pode ser sumariamente eliminado.

3. Tenha familiaridade com o programa: Você tentará ingressar numa das linhas de pesquisa do programa e conhecer os trabalhos feitos sob aquela linha é essencial para saber se tem afinidade com ela e para construir um projeto de pesquisa adequado. Você deve conhecer não só a produção acadêmica dos professores da linha, mas também as dissertações e teses defendidas ali. Tente entrar em contato, mesmo que por e-mail, com os professores, alunos e ex-alunos do programa, falando dos seus interesses e mostrando que conhece o assunto e os trabalhos deles: isso mostra iniciativa, vai lhe dar mais notoriedade na seleção (em vez de entrar como mais um desconhecido) e você pode receber dicas úteis – como saber que seus interesses estão ou não em sintonia com o dos professores do programa. Conheça o currículo de cada um deles e pense em possíveis orientadores.

4. Assista às aulas: Se puder, tente assistir às aulas (ou algumas delas) da graduação ou da pós-graduação lecionadas pelos professores da sua linha. Para isso, peça humildemente ao respectivo professor e deixe claro seu interesse e motivação. Assistir às aulas têm várias vantagens: vai lhe preparar melhor para a prova escrita (se houver) e vai lhe pôr em contato com o professor.

5. Faça um projeto consistente, mas considere a possibilidade de mudança: Seu projeto de dissertação ou tese provavelmente fará parte da avaliação na seleção e, por isso, precisa ser atraente, do ponto de vista dos professores do programa: mostrar-se viável naquele contexto (prazo, recursos e programa), estar minimamente dentro dos atuais interesses dos professores da linha, parecer estar em continuidade com outros trabalhos ali desenvolvidos, ser claro, curto e direto, e demonstrar por citações consistentes conhecimento dos trabalhos na área e dos feitos no programa. Todavia, tenha ciência de que às vezes é possível (ou até necessário) que você reformule totalmente seu projeto, com o apoio do seu orientador.

Se vai fazer a seleção da pós-graduação na universidade em que se formou, tudo ficará mais fácil – a menos que por acaso você tenha se tornado inimigo dos professores do programa ao longo da graduação. Considere se preparar ao longo do ano – as seleções geralmente são no segundo semestre. Se vai tentar em outra universidade, tente se planejar melhor e mais antecipadamente, pois não só você não foi educado naquele ambiente, mas também terá de lidar com problemas logísticos.

A seguir dois textos na mesma linha:

·         Dicas para entrevistas em programas de pós-graduação

·         Como faço para ingressar no mestrado ou no doutorado?

Não vale a pena ser pesquisador em direito

Nesta postagem, explicarei por que, considerando os prós e os contra, ser pesquisador em direito, no Brasil, é o pior caminho que alguém da área de direito pode escolher.

Não quero desestimular os interessados em pesquisa, mas dar a eles uma visão realista das dificuldades que encontrarão e do tipo de coisa que precisarão levar em consideração.

Embora a existência de pesquisa na área de direito seja importante (não só como formação, mas por suas repercussões práticas), o curso de direito, no Brasil, é, senão o pior, um dos que pior oferecem uma formação para pesquisa: desde o estímulo a vícios diversos até a fragilidade dos métodos jurídicos, passando pela falta quase completa de formação científica (argumentação rigorosa, noções de lógica, estatística, uso de programas de planilhas e gráficos, metodologias de análise de políticas, etc.). Poucas faculdades de direito do país se saem melhor nesse quesito, como as escolas de direito da FGV. Para a imensa maioria delas, a alternativa imediata para o interessado em pesquisa é se aproximar de outras áreas. A formação jurídica típica acaba gerando, com sorte, pesquisadores amadores e, em muitos casos, trabalhos que parecem pitorescos comparados aos trabalhos de áreas tipicamente científicas.

Um estudante de direito pode (basicamente) considerar três amplas opções de carreira: concursos públicos, advocacia privada, e docência e pesquisa. Após cinco anos de graduação, se o estudante tiver se dedicado à aprovação em concursos, ele pode, em pouco tempo, ocupar um cargo público que lhe renda mais (em alguns casos, muito mais) de 5.000,00 reais garantidos pelo resto de sua vida – digamos, como oficial de justiça ou analista judiciário, e mais tarde como juiz, defensor público, procurador ou promotor. Outra possibilidade é ter se dedicado à advocacia privada, em estágios relevantes, construção de networking, e ganho de conhecimento prático: após a faculdade, ele ingressará numa boa firma de advocacia, na qual pode ter ganhos próximos a 3.000,00 reais (dependendo da capital do país), com chances de eventuais bônus, e com ótimas perspectivas de crescimento, podendo, em alguns anos, ter rendimentos superiores aos melhores salários do serviço público. E aquele estudante dedicado a alimentar sua curiosidade, com gosto para fazer perguntas e ensinar? Ele tem como opção, após a faculdade, entrar num mestrado, que, se tiver a sorte de obter logo uma bolsa, lhe renderá por dois anos 1.500,00 reais para fazer pesquisa (daquele jeito), o que, no Brasil, sequer é visto como um trabalho (inclusive pelo governo); a bolsa também impede que o estudante/bolsista/pesquisador tenha vínculos de trabalho, a não ser como docente, pois se espera que ele se dedique realmente à pesquisa; portanto, após sete anos arduamente dedicados à sua formação educacional e à pesquisa, o então mestre conta com a possibilidade de ser contratado por faculdades privadas, podendo vir a ter rendimentos próximos dos R$ 3.000,00, a depender de quantas turmas vier a assumir; outra possibilidade é tentar concursos para professor assistente (que exige só mestrado), mas vai esbarrar na dificuldade de ter de superar candidatos que já são doutores; a terceira, e mais óbvia para quem quer ser pesquisador, é fazer um doutorado por pelo menos mais quatro anos, cuja bolsa hoje é de 2.200,0 reais; outro fator é que, em busca de um bom programa de mestrado ou doutorado, o aspirante a pesquisador pode querer sair do estado onde mora, o que encarece suas despesas; nesse tempo, ele continuará sendo tratado como alguém que “só estuda e não trabalha”, não só pelas pessoas ao seu redor, mas também pelo próprio governo. E quais são as perspectivas para quem, após pelo menos onze anos (“desempregado”) dedicados ao estudo, à pesquisa e ao ensino? O agora doutor em direito, em torno dos 30 anos de idade, será um desempregado altamente qualificado, com pouca experiência na advocacia, que terá como melhor perspectiva entrar numa universidade pública – mas somente após ser aprovado num concorrido processo seletivo, o que pode tardar a acontecer, se vier a acontecer. A vantagem da universidade pública está na estabilidade do emprego, que rende em torno de 6.000 reais líquidos, e, principalmente, na possibilidade de fazer pesquisa. Abdicando um pouco disso, o doutor em direito pode se contentar com a possibilidade de lecionar em faculdades privadas e ter rendimentos próximos a esse valor também – apenas com mais turmas. Agora, finalmente ele está trabalhando – ou pelo menos até ouvir a pergunta sobre se ele “só dá aulas ou também trabalha?”, o que dá uma ideia da valorização da profissão docente no país, mesmo em nível superior.

Na linha desta postagem, veja o ótimo artigo publicado na Revista Galileu: A ciência no Brasil é bancada pelos pais.

Ver também a entrevista da Suzana Herculano-Houzel sobre as dificuldades de se fazer pesquisa no Brasil.

Erros que professoras(es) devem evitar

Há alguns erros comuns que as professoras e os professores devem buscar evitar em seu trabalho. E as razões do porquê são erros devem ficar claras abaixo. Julgo que todos eles são bem óbvios, mas infelizmente me parecem ser mais recorrentes do que deveriam, e por isso escrevo esta postagem.

1. Atrasar-se com frequência: No Brasil, as pessoas são em geral muito tolerantes com atrasos, e isso repercute no ensino, principalmente no ensino público, pois o professor com estabilidade sabe que não vai perder seu emprego por se atrasar, da mesma forma que nós pensamos que não vamos perder nossos amigos por nos atrasarmos aos compromissos marcados. Porém, o professor que se atrasa com frequência está desrespeitando quem o paga (empresa ou contribuintes), ao prestar um serviço “menor” do que o combinado, está desrespeitando seus alunos e alunas, além de estar perdendo tempo precioso de aula. Digo, “com frequência”, porque eventuais atrasos podem ocorrer por causas alheias à vontade de qualquer pessoa. Obviamente, alguns atrasos recorrentes são justificáveis, como o professor que precisa sair de uma aula para outra distante que começa logo em seguida. Nesses casos, o planejamento da aula deve levar esses atrasos em consideração.

2. Fazer perguntas vagas sobre assuntos específicos: Se o professor pergunta o que um aluno acha de uma questão específica de uma área, sem dar maiores pistas como background, sem criar um contexto para discussão, isso faz parecer que o professor não sabe do que está fazendo. Uma vez presenciei uma professora perguntar a um aluno: “Habermas diz que a verdade é o consenso. O que você acha, Thiago? Acha que é isso mesmo?”. O aluno deu a resposta mais adequada possível: “Professora, Habermas pesquisou anos para dizer isso, e daí eu chegar do nada e opinar fica meio complicado, né...”.

3. Não dominar o assunto: Embora seja prática comum, no Brasil, professores darem aula das mais diversas matérias, mesmo que elas não tenham feito parte da sua especialidade, é esperado no mínimo que o docente saiba do que está falando: deve poder ao menos explicar o assunto da disciplina, de acordo com os conhecimentos atuais da área, e poder indicar referências para o aprofundamento do assunto. Em regra, o domínio do assunto é refletido na fluência e na clareza da explanação.

4. Faltar às aulas sem dar satisfação alguma: Isso pode parecer óbvio e trivial, mas eu tenho conhecimento (por experiência própria e por relatos) de professores que, por alguma razão, faltam às aulas, e não dão quaisquer explicações, nem avisos prévios. O mínimo que se espera é que o professor avise à turma (se possível, muitos dias antes, como em caso de ter de ir para um evento acadêmico) e explique sua ausência. Obviamente, excluo aqui, como nos outros casos, situações excepcionais, como envolvimento em acidente que vitima o professor gravemente.

Para algumas dicas importantes, ver a postagem o Manual Ilustrado da Docência, do blog do professor Adonai Sant’Anna.

Pesquisas de Ponta em Direito – Parte 2

Continuando a série de postagens sobre pesquisas de ponta na área de direito (Parte 1 aqui), trago novos exemplos que merecem nossa atenção – dessa vez internacionais.

Um exemplo notável de grande área interdisciplinar é a interseção entre direito, lógica, inteligência artificial (IA) e informática, cujas repercussões práticas prometem mudar radicalmente a profissão jurídica. A primeira conferência internacional sobre direito e IA ocorreu em Boston, EUA, em 1987, isto é, bem antes da rede mundial de internet. De lá para cá a IA tem avançado: o escritório de advocacia Hodge Jones & Allen, em Londres, Inglaterra, é um dos pioneiros em usar um modelo preditivo para o resultado de casos, a fim de avaliar a viabilidade de dar andamento a processos jurídicos; a empresa forneceu a Andrew Chesher, professor da University College London, uma série de dados sobre os resultados de 600 casos concluídos em doze meses; ele usou uma combinação de técnicas estatísticas para analisar os fatores que contribuem para que os casos sejam ganhos ou perdidos, os danos assumidos pelos requerentes em casos de sucesso e os custos recebidos pela empresa. Não muito longe dali o Agent Applications, Research and Technology (Agent ART) Group, da Liverpool University, está desenvolvendo formas de aplicar a IA ao campo jurídico, como o processamento de textos, busca e análise de dados, automatizando a rotina de tarefas jurídicas, tornando sua execução mais rápida e barata.[1]

Os estudos em direito, lógica, IA e informática ganharam tanto relevo, que a Stanford University possui um centro de estudos apenas para isso: The Stanford Center for Legal Informatics (CodeX), operado conjuntamente pela Stanford Law School e pelo Stanford Computer Science Department.[2]

Outro campo interdisciplinar relacionado ao departamento de direito e à profissão jurídica que tem se mostrado produtivo é o Law and Economics Movement ou Análise Econômica do Direito[3]. A ideia central é aplicar os conceitos e os estudos econômicos, incluindo ferramentas matemáticas, para compreender, descrever e melhorar as práticas jurídicas. A ideia geral da maioria das análises econômicas é traçar as consequências de assumir que as pessoas são mais ou menos racionais em suas interações sociais – em regra, buscando seus objetivos e tentando maximizar seus benefícios e minimizar seus custos. No caso de atividades jurídicas, essas pessoas podem ser criminosos, promotores, partes no processo, contribuintes, auditores fiscais, trabalhadores – ou até estudantes de direito. Ou seja, análises econômicas vão muito além de dinheiro e capitalismo; elas são amplas o bastante para serem uma investigação do comportamento humano, razão pela qual têm afinidades com a teoria dos jogos. As pesquisas nessa área já são tão reconhecidas, que a The University of Chicago mantém um periódico dedicado apenas ao campo, The Journal of Law and Economics[4]. A faculdade de direito dessa universidade, inclusive, se destaca por ter um programa interdisciplinar que assume explicitamente que o estudo do direito não é uma disciplina autônoma: desde o primeiro dia de aula os estudantes dessa instituição tem sua atenção dirigida a insights das ciências sociais, das humanidades, e das ciências naturais[5].

Por fim, quero mencionar uma última área de interseção: direito e neurociências. Financiada pela John D. and Catherine T. MacArthur Foundation, o Research Network on Law and Neuroscience, da Vanderbilt University, é um centro de pesquisa que investiga problemas que se encontram entre a neurociência e a justiça criminal: 1) investiga estados mentais relevantes ao direito e processos de tomada de decisão em advogados, testemunhas, jurados e juízes; 2) investiga em adolescentes a relação entre o desenvolvimento do cérebro e as capacidades cognitivas; e 3) avalia a melhor forma de fazer inferências sobre os indivíduos a partir de dados neurocientíficos baseadas em grupos[6]. Outras questões desse campo interdisciplinar incluem: (a) Trata-se de uma legítima defesa alegar que um tumor ou uma lesão cerebral atenua um crime? (b) como os cérebros de menores diferem dos cérebros de adultos em sua capacidade de tomada de decisões e controle dos impulsos? (c) pode a neurociência informar normas de condenação, oferecendo uma melhor previsão de reincidência? (d) podem as novas tecnologias de imagem cerebral ser aproveitadas para novos métodos de reabilitação? (e) quem deve ter acesso a informações sobre nossos cérebros? (f) como deve o júri avaliar a culpabilidade quando a maioria dos comportamentos são movidos por sistemas inconscientes do cérebro?[7] Essas e outras questões nada triviais e bastante complexas estão muito longe de serem respondidas por qualquer pesquisa que tenha (até hoje) se apresentado como especificamente jurídica, como a dogmática jurídica, e, no entanto, são perguntas da mais alta relevância para a sociedade e para o direito.

---

[1] CROSS, Michael. Role of Artificial Intelligence in Law. Published February 19, 2015, em <http://raconteur.net/business/time-for-technology-to-take-over>. Acesso em 5 de fevereiro de 2016.

[2] Detalhes sobre o centro de estudos no site da instituição: <http://codex.stanford.edu/>. Acesso em 5 de fevereiro de 2016.

[3] POSNER, Richard. Values and Consequences: An Introduction to Economic Analysis of Law. In: JOHN M. OLIN LAW & ECONOMICS WORKING PAPER NO. 53, 1988. Disponível em <http://www.law.uchicago.edu/files/files/53.Posner.Values_0.pdf>. Acesso em 5 de fevereiro de 2016.

Mais sobre a análise econômica do direito, os verbetes The Economic Analysis of Law e Law and Economics, respectivamente, na Stanford Encyclopedia of Philosophy e na Internet Encyclopedia of Philosophy, cujos endereços, respectivamente, são: <http://plato.stanford.edu/index.html> e <http://www.iep.utm.edu/>. Acesso em 5 de fevereiro de 2016.

[4] Detalhes sobre o periódico em <http://www.journals.uchicago.edu/toc/jle/current>. Acesso em 5 de fevereiro de 2016.

[5] Detalhes sobre o programa interdisciplinar da Universidade de Chicago: <http://www.law.uchicago.edu/projects/interdisciplinary>. Acesso em 5 de fevereiro de 2016.

[6] Detalhes sobre o Research Network on Law and Neuroscience: <http://www.lawneuro.org/>. Acesso em 5 de fevereiro de 2016.

[7] EAGLEMAN, David M. Neuroscience and the law. Houston Lawyer 16.6 (2008): 36-40. Disponível em <http://www.thehoustonlawyer.com/aa_mar08/page36.htm>. Acesso em 5 de fevereiro de 2016.

Pesquisas de Ponta em Direito – Parte 1

Com atraso, trago a primeira postagem da série que havia prometido sobre pesquisas de ponta na área de direito. Essas pesquisas se caracterizam de um modo geral por serem muito diferentes de trabalhos doutrinários ou de dogmática jurídica, e por terem claro viés interdisciplinar, deixando de lado a preocupação sobre se realmente são ou não “pesquisas jurídicas”. Quando digo que são pesquisas de ponta, quero dizer que são realizadas nas principais instituições de ensino e pesquisa do mundo (inclusive no Brasil) como uma aposta do que será o futuro ou como uma tentativa de colaborar na solução de questões importantes para a sociedade.

Talvez os estudos doutrinários sempre tenham seu lugar num mundo em que exista a questão sobre a interpretação jurídica correta, mas, como aponta Richard Posner (já citado aqui e aqui), eles estão em declínio há algum tempo e, em algum momento, podem vir a ser apenas um resíduo de um passado em que ingenuamente se acreditava na autonomia de uma entidade misteriosa chamada “direito”.

No Brasil, as Escolas de Direito da Fundação Getúlio Vargas (uma em São Paulo e outra no Rio de Janeiro) se destacam quando o assunto é pesquisa de ponta em direito, fazendo uso de suporte interdisciplinar facilitado pelas outras faculdades desta Fundação. Um exemplo é o projeto “Supremo em Números”, da Escola de Direito da FGV RJ; ele faz amplo uso de tecnologias de computação para melhor compreender informações em larga escala junto à produção de dados empíricos; idealizado pelo professor Pablo Cerdeira em 2010, o projeto surgiu como uma iniciativa de aliar habilidades jurídicas e informáticas para produzir dados inéditos sobre o Supremo Tribunal Federal – uma proposta especialmente relevante no contexto brasileiro atual, no qual o poder judiciário em geral e o STF em particular tem atuado muito mais do que décadas atrás e em questões que repercutem pelo país inteiro tanto nos veículos de comunicação quanto na vida das pessoas: alguns exemplos são as decisões de casos como o da reserva Raposa Serra do Sol, da Lei de Imprensa, dos Fetos Anencefálicos, da Lei da Ficha Limpa, das Cotas Raciais, da União Homoafetiva e do Mensalão, que deixam claro que as decisões judiciais possuem um grande impacto político.

O “Projeto Supremo em Números” tem como foco de análise de tais decisões uma perspectiva quantitativa. Ele também serve de modelo e complemento para pesquisas semelhantes relativas a outras esferas do Judiciário, como o relatório “Justiça em Números” do Conselho Nacional de Justiça. Isso permite a observação do comportamento agregado das instituições componentes do poder judiciário, permitindo inferências a partir de padrões identificáveis em um grande número de decisões judiciais – padrões que não podem ser identificados em análises qualitativas de textos ou decisões isoladas. O projeto atenta para dados sobre andamentos dos processos, sua duração, seus atores, suas origens geográficas, seu assunto e as regularidades e correlações entre esses e outros elementos.

Esse tipo de estudo quantitativo apresenta dificuldades específicas, sobretudo porque: (a) os órgãos de cúpula do poder judiciário brasileiro julgam um número muito alto de casos por ano, às vezes ultrapassando centenas de milhares, diferentemente da maioria dos países nos quais esse tipo de estudo é mais desenvolvido. Isso exige o desenvolvimento de novas e diferentes técnicas de análises, baseadas em grande volume de dados; (b) muitas vezes os dados dos processos ou não estão disponíveis ou são muito pouco estruturados, com incongruências que não permitem uma análise de massa sem prévio trabalho de consolidação. Exemplos de estudos quantitativos sistemáticos do poder judiciário já são encontradas nos Estados Unidos, na União Europeia e no México, onde tais iniciativas partem não somente de atores governamentais, mas também de atores não governamentais, como universidades, por exemplo.

No Brasil, os bancos de dados do gênero tendem a ser desenvolvidos de forma ad hoc, para pesquisas específicas. Não há bancos de dados completos, abrangentes e sistemáticos sobre como vem decidindo o STF desde 1988. Com o objetivo de preencher essa lacuna no Brasil, a FGV está realizando esse extenso projeto, através da Escola de Direito do Rio de Janeiro e com o apoio da Escola de Matemática Aplicada. O objetivo do Supremo em Números, em oposição ao modelo de análise qualitativa mais difundido, é fundamentar quantitativa e estatisticamente discussões sobre a natureza, a função e o impacto da atuação do STF na democracia brasileira. O projeto realiza análises a partir de um banco de dados com cerca de 1,4 milhão de processos, mais de 1 milhão de decisões, aproximadamente de 15 milhões de andamentos, centenas de milhares de advogados e mais de 1 milhão de partes, desde 1988 até os dias de hoje.

O projeto “Supremo em Números” é amplo e interdisciplinar, contando com a participação de juristas, engenheiros de softwares, programadores e designers, fugindo totalmente das pesquisas usuais em direito – centradas em análises de casos e da legislação sob a perspectiva da dogmática jurídica e feitas exclusivamente por juristas.

Porém, esse não é o único projeto desse tipo na FGV: sob a coordenação de Antônio José Maristrello Porto, o projeto “O Superendividamento no Brasil”, que começou em 2014, tem por objetivo formular uma definição conceitual do superendividado no Brasil, o que orientará a realização de um levantamento quantitativo sobre o tema, acompanhar, durante a vigência do projeto, a evolução do superendividamento do consumidor de crédito brasileiro, realizar estudos, da perspectiva regulatória, das variáveis identificadas como determinantes para o superendividamento e, por fim, fornecer informações para a formulação de políticas públicas e regulação de acesso ao crédito. Esse projeto é desenvolvido por todos os pesquisadores do Centro de Pesquisas em Direito e Economia da FGV (CPDE) em parceria com pesquisadores da University of Ilinóis at Urbana-Champaign através do Prof. Robert Lawless.

Mais projetos poderiam ser citados, mas me limitarei a mencionar que a Escola de Direito da FGV RJ conta com quatro centros de pesquisa cujos trabalhos são claramente interdisciplinares sobre temas fundamentais ao país: o “Centro de Justiça e Sociedade”, o “Centro de Tecnologia e Sociedade”, o “Centro de Direito e Meio Ambiente”, e o “Centro de Pesquisa em Direito e Economia”. Como nenhuma outra faculdade brasileira de direito (de que eu tenha conhecimento) está fazendo, as faculdades de direito da FGV têm desenvolvido projetos de pesquisas amplos, sistemáticos, e de importância para o Brasil, com profissionais, estudantes, professores e pesquisadores de áreas diferentes, e que contam, em alguns casos, com parcerias internacionais. Nisso a FGV acompanha tendências mundiais que descreverei em outras postagens dessa série.

Leia a Parte 2 aqui.

Anacronismo e ensino jurídico

O texto a seguir é de autoria de Aimée Feijão, graduada e mestre em direito pela Universidade de Brasília (UnB). Ela trata de alguns temas que já foram aqui vagamente mencionados nas postagens sobre o “Professor Anacrônico” e outras. Trata-se de uma parte adaptada da dissertação de mestrado da Aimée Feijão. Em breve, como prometi na postagem sobre doutrina jurídica e pesquisa em direito, farei uma postagem descrevendo algumas pesquisas de ponta no Brasil e no mundo na área de direito.

..............................................

Por Aimée Feijão

A concepção do conhecimento como algo estático e fragmentado não se coaduna com o contexto socioeconômico e cultural em que nos encontramos inseridos; este se rege pelos imperativos da dinamicidade[1], o que demanda um conhecimento também dinâmico. A complexidade da vida moderna é incompatível com um modelo de ensino que perpetua a compartimentalização do conhecimento. Um ensino fragmentado atrofia as possibilidades de compreensão e reflexão sobre a totalidade dos fenômenos sociais. Existe, segundo Edgar Morin, uma inadequação profunda entre a sectarização dos saberes entre disciplinas e a realidade, que nos apresenta problemas polidisciplinares[2].

Esse cenário é incompatível com um método de ensino focado na mera transmissão de conhecimentos por parte do professor seguida pela apreensão do máximo possível de informações e dados pelos alunos.

Se essa incongruência entre a realidade e a forma como se produz o conhecimento é observada nas ciências exatas, muito mais notável o é nas ciências humanas, cujo objeto encontra-se em constante mutação, em virtude de este consistir em uma conexão entre vida, expressão e compreensão. A humanidade, afirma Wilhelm Dilthey, enquanto condição de objeto das ciências humanas, “não surge senão na medida em que estados humanos são vivenciados, em que esses estados ganham expressão em manifestações vitais e essas expressões são compreendidas. Com efeito, essa conexão existente entre vida, expressão e compreensão não abarca apenas gestos, expressões faciais e termos por meio dos quais os homens se comunicam [...] A unidade psicofísica da vida também é conhecida por si mesma por meio da mesma relação dupla entre vivenciar e compreender. [...] Desse modo, a conexão entre vivência, expressão e compreensão mostra-se por toda parte como o próprio procedimento, por meio do qual a humanidade existe para nós como objeto das ciências humanas. As ciências humanas estão fundadas, pois, nessa conexão entre vida, expressão e compreensão” [3].

Essa conjunção de fatores é sentida sobremaneira na ciência jurídica, visto que as relações humanas, sobre as quais o Direito pretende exercer certa normatividade, se desenvolvem de forma complexa, exigindo do profissional que porventura atue nessa área a habilidade de agir com sensibilidade e senso crítico diante das variadas situações que venham a se desenvolver.

Para atender a essa expectativa, a educação deve ter como propósito desenvolver nos estudantes a competência e habilidade de aplicar seus conhecimentos em meio à dinamicidade e instabilidade das circunstâncias fáticas, de desenvolver o que Knowles chama de “lifelong self-directed learning” [4] ou aprendizado contínuo.

Na seara do ensino jurídico, constata-se uma insatisfação de longa data com o método tradicional de ensino, o que suscita discussões a respeito da estruturação curricular e metodológica do curso.

Atualmente a maioria das faculdades de Direito no Brasil reproduz, ainda que de forma sutil, o ensino originado na Universidade de Bolonha[5], que seguia o modelo da lectio escolástica[6]. Nessa relação educacional, o estudante posicionava-se de forma passiva frente ao professor, presumidamente detentor de todo o conhecimento; cabia ao discente, portanto, apenas absorver os ensinamentos do grande mestre. Observa-se, ainda, que o foco do ensino estava na lei, possuindo mínima conexão com a realidade social.

Mais de nove séculos se passaram e a educação jurídica brasileira ainda possui resquícios do método escolástico. Pautada em um modelo tradicional, confere ao docente o papel de principal ator do processo educacional, peça transmudada em monólogo que transforma os alunos em meros expectadores muitas vezes desinteressados.

O quadro em tela constitui o reflexo da generalizada percepção formalista do Direito. O “formalismo jurídico” é uma categoria amplamente utilizada na Sociologia Jurídica, na História do Direito e na Filosofia Jurídica e não existe para ela uma conceituação fechada[7]. Nesse esteio, valemo-nos do conceito esboçado por Daniel Bonilla[8], segundo o qual o formalismo jurídico identifica sistema jurídico com a lei; considera que o sistema normativo é completo, coerente e fechado; capaz, portanto, de fornecer respostas únicas a todos os problemas apresentados pela comunidade política.

A educação jurídica formalista, então, reforça e reproduz o conceito de direito formalista, tendo como pilares o enciclopedismo curricular, a memorização e o conceitualismo.  Os currículos são compostos por um número alto de matérias obrigatórias de modo a garantir que os estudantes conheçam todas as criações do legislador. Iguala conhecer Direito à capacidade de reproduzir na íntegra e acriticamente os conteúdos normatizados[9].

Imperativa se faz a mudança desse quadro, vez que a atuação do jurista é mais complexa do que a memorização de textos legais. O interpretar da norma jurídica não se esgota na mera reprodução de máximas imutáveis e abstratas, mas é atividade que se perfaz a partir da análise da norma abstratamente concebida face às peculiaridades do caso concreto. O instrumento normativo desvinculado de um contexto fático apresenta inúmeras potencialidades. Assim sendo, cabe ao jurista conformar a norma a um de seus muitos significados para a solução do caso concreto ou até mesmo questionar as próprias bases morais, culturais e políticas que legitimam essa norma. Essa atividade hermenêutica extremamente complexa não é possível ser realizada com base na simples reprodução de conhecimentos. Para essa análise crítica, é necessário um ensino também crítico e desafiador, que estimule o estudante e o torne o centro do processo educacional; a partir desse empoderamento discente, contribuir-se-á para a formação de profissionais capazes de analisar criticamente o meio social e as estruturas jurídicas que tentam discipliná-lo, provendo soluções coerentes à resolução do caso concreto com o qual se depare.

---

[1] Atestando essa realidade, Zygmunt Bauman elegeu a fluidez como a principal metáfora da modernidade: Cf. BAUMAN “[os fluidos] diferentemente dos sólidos, não mantêm sua forma com facilidade[...], não fixam o espaço nem prendem o tempo[...]os fluidos não se atêm muito a qualquer forma e estão constantemente prontos (e propensos) a mudá-la[...] Essas são as razões para considerar ‘fluidez’ ou ‘liquidez’ como metáforas adequadas quando queremos captar a natureza da presente fase, nova de muitas maneiras, na história da modernidade ” In: Modernidade líquida. Pg. 8-9.

[2] MORIN, Edgar. A cabeça bem-feita: repensar a reforma, reformar o pensamento. Trad. Eloá Jacobina. 8a ed. Rio de Janeiro: Bertrand Brasil, 2003. Pg.13.

[3] DILTHEY, Wilhelm. A construção do mundo histórico nas ciências humanas. Tradução Marcos Casanova. São Paulo: Editora Unesp, 2010. Pg 28-29.

[4] “Lifelong learning”, termo que traduzimos livremente como “aprendizado contínuo”, é apresentado por Knowles como o princípio fundamental de toda a educação; este consiste na habilidade de buscar o conhecimento de forma autônoma e independente. No contexto atual de fluidez da produção de conhecimento, insuficiente se mostra a mera apreensão de conhecimento, vez que este se encontra em constante mutação; o importante é desenvolver a competência de “aprender a aprender”.  

[5] BERMAN, Harold J. Direito e revolução: a formação da tradição jurídica ocidental. São Leopoldo: Unisinos, 2006. Pg.166.

[6], Ver BERMAN In: Direito e revolução. pg. 167-169; e HEGEL In: Princípios da filosofia do direito. pg. 25-26.

[7] Duncan Kennedy. Legal Formalism. In: SMELSER, Neil; BALTES, Paul (ed). Encyclopedia of the social & behavioral sciences. vol 13. Elsevier: 2001. Pg 8634.

[8] BONILLA, Daniel. El formalismo jurídico, la educación jurídica y la práctica profesional del derecho en latinoamerica. In Helena Olea (ed.). Derecho y pueblo Mapuche, Universidad Diego Portales, Chile, 2013. Pg. 262.

[9] Idem.