Ciência de dados e métodos ágeis: união pela eficiência operacional

Nos últimos anos, a ciência de dados vem se espalhando nas organizações. Isso se deve, principalmente, ao aumento do volume e da velocidade de produção desses ativos, o que os tornou parte indispensável do dia a dia dos negócios. Integrados à inteligência de negócios, esses dados auxiliam na tomada de decisões estratégicas e impulsionam resultados. Por trás de todo sucesso, existem profissionais responsáveis pelo uso adequado das informações, os cientistas de dados - que podem se beneficiar ao utilizarem métodos ágeis nos projetos que executam para atingir eficiência operacional, algo pouco explorado.

Os métodos ágeis, quando aplicados no setor de desenvolvimento de softwares, garantem inúmeros benefícios às empresas e equipes que os utilizam. Dentre eles, está a facilidade que essas abordagens proporcionam para compreender as necessidades de um negócio, assim como à organização e à implementação de uma cadência adequada do trabalho que é desempenhado. Tudo isso possibilita economia de tempo em relação ao levantamento de determinados requisitos, ao domínio das informações que se tem em mãos e, consequentemente, às entregas de valor. 

Não é à toa que esses métodos conquistam as gestões das companhias. Afinal, eles geralmente desbloqueiam uma adaptação rápida a mudanças, que acontecem o tempo todo no mundo corporativo. Então, por que não estender suas vantagens a outras áreas, como a ciência de dados? Antes, é preciso entender algumas especificidades do setor para que se atinja o sucesso esperado – e um artigo da pesquisadora Fernanda Regina Gubert, da Universidade Tecnológica Federal do Paraná (UTFPR), nos ajuda a visualizar esse cenário.

Conflitos entre ciência de dados e métodos ágeis

Em seu levantamento, Gubert detalha que cientistas de dados são profissionais que trabalham em equipes, e que podem atuar em atividades que vão desde a coleta e transformação dos dados até a geração de análises e criação de modelos estatísticos e de aprendizagem de máquina. Entretanto, como explicou Fernanda, a natureza dessas atividades representa um verdadeiro desafio à garantia de desempenhos eficientes e eficazes.

Isso porque há diversas particularidades em diversas etapas do trabalho, que necessitam de estabelecimentos de prazos e experimentações longas, o que pode resultar em entregas incrementais refutadas. 

Gubert ressaltou que as maiores dificuldades apontadas pelo grupo avaliado (composto tanto por pesquisadores, quanto por profissionais da área) foram a estimativa de tarefas de análise exploratória, o detalhamento das tarefas em uma granularidade adequada e a entrega de valor do ponto de vista da gestão. Felizmente, é possível mitigar esses problemas com o uso de CRISP-DM associado a Kanban ou Scrum, segundo indicou o grupo entrevistado, mas essas associações ainda geram desencontros.

Abandonando a rigidez

CRISP-DM é o modelo de um processo que orienta a implementação de aplicações de mineração de dados, independentemente do setor, e é considerado um padrão do desenvolvimento de projetos em ciência de dados. Consiste em um ciclo de seis fases, cuja sequência representa apenas dependências mais frequentes, ou seja, não se trata de algo engessado, como se pode pensar. Essas seis fases são: entendimento do negócio, entendimento dos dados, pré-processamento dos dados, modelagem, avaliação e implementação.

Voltando aos desencontros, um exemplo diz respeito à utilização de Scrum, onde cientistas disseram que trabalhar com Sprints é bastante desafiador, pois o trabalho é muitas vezes realizado com base em hipóteses e nem sempre resultam em algo de valor do ponto de vista do gerenciamento e da liderança da equipe. 

Além disso, afirmou Gubert, as entrevistas também evidenciaram que, não raramente, a terminologia “cientistas de dados” é entendida de forma equivocada por outros papéis, ocasionando confusões sobre o que se espera desses profissionais.

Considerando que no CRISP-DM a exploração e a experimentação de dados são etapas muito importantes, e que precisam de liberdade para serem realizadas, não se encaixando em processos rígidos, o jeito é adaptar as necessidades e ações dos cientistas de dados – que norteiam suas atividades com o CRISP-DM – associadas a métodos ágeis, que sejam úteis à equipe como um todo. E as possibilidades não são poucas.

Diversas alternativas 

Uma pesquisa realizada em 2018 mostrou que 82% dos cientistas de dados pesquisados não utilizavam nenhum processo explícito, ainda que 85% do total acreditasse que a adoção de uma metodologia melhoraria os resultados. 

A partir dela, os autores descreveram seis possíveis metodologias, dentre as quais estavam a Team Data Science Process (TDSP), uma combinação de CRISP-DM e Scrum, com cinco estágios iterativos, encabeçada pela Microsoft, e a Knowledge Discovery in Data Science (KDDS), que expande o CRISP-DM para lidar com os problemas de Big Data.

Qualquer que seja a alternativa (incluindo todas as não mencionadas aqui), a associação dos projetos de ciências de dados com as configurações fixas de métodos ágeis pode trazer dificuldades. Os profissionais que o tentam podem passar a acreditar que essas metodologias não atendem às naturezas dos projetos que executam, ou até que é impossível aplicar a ciência de dados sem elas, dependendo dos obstáculos e benefícios que elas impõem. 

Manter a mente aberta aos ajustes, portanto, é essencial. É aí que entram as “colagens” que podem solucionar problemas. 

Ciência de dados, métodos ágeis e eficiência operacional

O Scrum-DS, por exemplo, é uma dessas “colagens”, que combina os elementos do Scrum com as etapas do CRISP-DM, assim como o framework SKI, que possui características do Lean, Kanban e Scrum. Fernanda destacou que elas oferecem adaptações aos métodos ágeis mais utilizados pelos profissionais com foco nas particularidades dos projetos de ciência de dados, além de poderem facilmente ser aplicadas em times que já utilizam o método Scrum. Ambas, indicou a pesquisadora, são pouco conhecidas e exploradas.

Independentemente do caminho escolhido por uma organização, é indiscutível que, na jornada em busca da configuração que melhor atenda ao cenário, é importante treinar a equipe sobre como os cientistas de dados podem - e devem - contribuir, gerenciando as expectativas de todos os envolvidos. 
Além disso, também é importante refletir se determinadas práticas ágeis precisam ser adaptadas para a inclusão destas pessoas nas equipes, estabelecer formas de troca de conhecimento entre os membros dos times e ter uma infraestrutura que facilite o acesso aos dados, conforme enfatizou um outro estudo de 2019.

Gubert concluiu seu artigo afirmando que o principal objetivo deve ser encontrar o equilíbrio para aproveitar esses benefícios sem limitar o trabalho dos cientistas, permitindo que incluam mudanças e experimentem o fluxo de trabalho de uma forma não usual, sem que seja preciso engessar o time a seguir regras por utilizar um método by the book. A oportunidade para o impulsionamento da eficiência operacional está aí, vamos abraçá-la?

---