Al\u00e9m de falar sobre ETL, listarei as principais ferramentas do mercado e falarei um pouco sobre Mercado de trabalho.<\/p>\n
Mas, antes de partimos para o objetivo deste artigo<\/strong>, gostaria de contextualizar trazendo um pouco de minha descoberta com o ETL.<\/p>\n Tudo come\u00e7ou alguns anos atr\u00e1s quando eu trabalhava numa empresa que fornecia servi\u00e7os de Log\u00edstica e Transportes, tendo servi\u00e7os de TI como parte integrante de seu portfolio. Logo no in\u00edcio todo processo era feito na m\u00e3o, mediante grandes cargas de dados<\/strong> ( eram Scripts SQL imensos), procedures, DBLinks<\/strong> entre outros recursos.\u00a0 Acontece que, com o tempo, as Foi quando descobri o Jitterbit, uma ferramenta que automatizava cargas de dados. Depois de estud\u00e1-la conseguimos automatizar todo fluxo de integra\u00e7\u00e3o de dados da empresa. Assim, o processo pegava dados em Fontes de dados ( que era definido junto ao cliente), tratava os dados conforme era necess\u00e1rio e lan\u00e7ava na base de destino.<\/p>\n Continuei a estudar um pouco mais e descobri que eu n\u00e3o estava tendo avan\u00e7os por causa de uma ferramenta e sim por causa de um processo, o tal ETL.\u00a0<\/strong><\/p>\n Mas o que vem a ser ETL ?<\/strong> O Processo ETL \u00e9 comumente usado para Data Mart, Data Warehouse assim como outros sistemas.<\/p>\n De forma geral, o ETL pode ser representado pela imagem abaixo:<\/p>\n No Wikipedia podemos ver defini\u00e7\u00f5es sobre ETL da seguinte forma:<\/p>\n ETL, do ingl\u00eas Extract Transform Load (Extra\u00e7\u00e3o Transforma\u00e7\u00e3o Carregamento), \u00e9 um processo que \u00e9 utilizado por ferramentas de software cuja fun\u00e7\u00e3o \u00e9 a extra\u00e7\u00e3o de dados de diversos sistemas, A extra\u00e7\u00e3o e carregamento s\u00e3o obrigat\u00f3rios para o processo, sendo a transforma\u00e7\u00e3o\/limpeza opcional (mas que s\u00e3o boas pr\u00e1ticas), tendo em vista que os dados j\u00e1 foram encaminhados para o Os projetos de data warehouse consolidam dados de diferentes fontes. A maioria dessas fontes tendem a ser bancos de dados relacionais ou arquivo de texto (texto\u00a0 plano), podendo existir outras fontes.<\/p>\n Atualmente, Existem v\u00e1rias ferramentas no mercado<\/strong> para trabalhar com ETL das quais destaco as seguintes:<\/p>\n Oracle Data Integrator (ODI);<\/strong> Todas as ferramentas possuem a mesma finalidade que \u00e9 Coletar dados, transformar e entregar o resultado esperado. Costumo compar\u00e1-las com Carros. Todos fazem a mesma coisa que \u00e9 promover a locomo\u00e7\u00e3o, mas o que diferencia um do outro s\u00e3o os “caprichos” disponibilizados<\/strong>.<\/p>\n Quanto ao MERCADO DE TRABALHO<\/strong>, analiso que estamos num bom momento j\u00e1 que Ci\u00eancia de dados est\u00e1 em alta. Finalizo afirmando que, trabalhar com ETL \u00e9 estar numa \u00e1rea muito boa de trabalho e ampla j\u00e1 que voc\u00ea pode atuar em v\u00e1rias \u00e1reas.\u00a0 Caso esteja pensando na possibilidade, boa sorte.<\/p>\n
\nComo n\u00f3s oferec\u00edamos tecnologia pr\u00f3pria para gerir o estoque e o transporte de cargas do cliente, n\u00f3s t\u00ednhamos que integrar nossos sistemas ao ERP do cliente para lan\u00e7ar dados referentes a\u00a0sua opera\u00e7\u00e3o.<\/p>\n
\nopera\u00e7\u00f5es aumentaram e com isso come\u00e7amos a perceber que a performance dessas transa\u00e7\u00f5es estavam degradando nosso ambiente, al\u00e9m de,\u00a0 estarmos perdendo tempo gerenciando as cargas de dados.<\/p>\n
\nETL \u00e9 uma sigla que representa Extract Transform Load (Extra\u00e7\u00e3o Transforma\u00e7\u00e3o Carregamento).
\n\u00c9 um processo onde n\u00f3s buscamos dados de uma fonte, transformamos este dado em um formato que nossa base de dados de destino possa entender \/ aceitar e entregamos os dados transformados para esta base, oferecendo o benef\u00edcio<\/strong> de integrar bancos de dados distintos ( SQL Server com Oracle por exemplo), proporcionar uma melhor performance, cargas programadas e gera\u00e7\u00e3o de arquivos em diversos formatos e layouts ( obedecendo a estrutura de dados que sistemas ERPs entendem).<\/p>\n![\"\"](\"http:\/\/bufallos.com.br\/bg_br\/wp-content\/uploads\/2017\/10\/fluxoETL.png\")
<\/p>\n
\ntransforma\u00e7\u00e3o desses dados conforme regras de neg\u00f3cios e por fim o carregamento dos dados geralmente para um Data Mart e\/ou Data Warehouse, assim como para um determinado sistema da
\norganiza\u00e7\u00e3o ( ou seja, n\u00e3o \u00e9 utilizado apenas para Data Warehouse e sim para v\u00e1rias finalidades).<\/p>\n
\nsistema de destino.\u00a0\u00c9 considerada uma das fases mais cr\u00edticas do Data Warehouse e\/ou Data Mart.<\/strong><\/p>\n
\nMicrosoft Integration Server (MSIS);
\nIBM InfoSphere DataStage;
\nInform\u00e1tica Power Center;
\nSAP BusinessObjects Data Services;
\nPentaho Data Integration<\/strong> \u00a0( esta tem vers\u00f5es free e muito boa de usar).<\/p>\n
\nDesta forma Voc\u00ea pode atuar, por exemplo, como :
\nAnalista de dados, Analista de BI e Analista de Integra\u00e7\u00e3o de Sistemas.<\/p>\n