Tudo que você precisa saber sobre Oracle Data Integrator ( ODI ) 12C

Todas as vezes que começamos a estudar alguma tecnologia ou metodologia de trabalho, sempre chegamos no questionamento :

Qual a melhor ferramenta para se trabalhar?

Um questionamento plausível, porém muito delicado. Por isso, como eu trabalho com Oracle há um bom tempo e todo contexto tecnológico que convivo gira em torno dela, fatalmente falarei das ferramentas da mesma.

Até por que quando pensamos em uma solução corporativa a decisão nem sempre é tão fácil, principalmente quando mexemos no bolso.

Mas acredite, tudo que será mostrado a respeito da Oracle nos artigos deste blog serão sempre apresentando o melhor cenário possível para se trabalhar, assim como, soluções para possíveis problemas que surgirem no decorrer do tempo ( Bugs por exemplo).

E o assunto da vez será o Oracle Data Integrator.

A Concepção do Oracle Data Integrator surgiu em 2006. Se deu após a Oracle adquirir a SUNOPSIS, uma empresa francessa com foco em integração de dados e principal fornecedora de E-LT heterogêneo ( Extração, Leitura e Transformação). Com isso, o produto de integração de dados da Sunopsis tornou-se Oracle Data Integrator 10g após a aquisição.

Em agosto de 2010, a Oracle efetuou suas primeiras atualizações para o ODI com o lançamento do Oracle Data Integrator 11g. Esta versão permitiu que o ODI passasse a ser integrado por outros produtos, como o Oracle SQL Developer e o JDeveloper, e apresentou novos recursos, como o JEE Agent e o ODI Console.

Embora a versão 11g tenha sido um avanço em relação ao ODI 10g, ainda não era amplamente considerada como uma ferramenta típica de desenvolvimento ETL. O conceito de Interfaces, como sendo uma única unidade de trabalho para ETL versus a abordagem usual de mapeamento baseado em fluxo encontrada na maioria das ferramentas ETL, incluindo OWB, levou a uma taxa de adoção mais lenta. Demorou anos, mas finalmente, o Oracle Data Integrator passou a ser baseado em fluxo com o lançamento do ODI 12c, integrando alguns dos melhores recursos do Oracle Warehouse Builder no produto ODI atual.

No final de 2013, a versão inicial do ODI 12c foi disponibilizada ao público. Além da mudança para mapeamentos baseados em fluxo, o ODI 12c também incluiu:

  • Integração com grandes fonte de dados;
  • Recursos de gerenciamento do ciclo de vida;
  • Muitas melhorias de desempenho, e;
  • Um utilitário de migração para aqueles que ainda utilizam o OWB.

O Oracle Data Integrator 12c é uma plataforma de integração que suporta Casos de uso como :

  • Inteligência de negócios ( BI );
  • Data Warehousing;
  • Gerenciamento de dados mestre;
  • Migração de dados;
  • Integração de dados e  integração de aplicativos.

Ele pode ser implantado usando serviços de carga em massa, lote, tempo real e web.

A plataforma Oracle Data Integrator está totalmente integrada com Oracle Database, Oracle GoldenGate, Oracle Fusion Middleware, Oracle Big Data Appliance e Exadata.

Sua funcionalidade principal é baseada em uma arquitetura de extração, carga e transformação que alavanca as capacidades dos bancos de dados de origem e de destino usados ​​nos processos de integração de dados e para este tópico eu gostaria de dar um bom destaque. Sempre ouvimos falar da funcionalidade do ETL ( inclusive escrevi um artigo sobre isso), mas com o ODI 12c, as coisas mudam um pouco no que se refere a ordem dos processos.

Ao invés de termos o processo sequencial de:
EXTRAÇÃO => TRANSFORMAÇÃO => CARGA

Com o ODI 12c teremos o fluxo:
EXTRAÇÃO => CARGA => TRANSFORMAÇÃO
conforme imagem abaixo:

Ou seja, com o ODI 12c você fará todo trabalho de TRANSFORMAÇÃO na FONTE ou no DESTINO. Assim, você terá menos carga de processamento no meio do processo, concentrando assim a carga mais pesada entre os processos de ponta ( inicio e fim).

Essa arquitetura permite que o software aproveite as funcionalidades, a escalabilidade e as capacidades de desempenho dos sistemas de gerenciamento de banco de dados relacionais e dos grandes sistemas de dados.

Um exemplo de alavancar a funcionalidade do banco de dados é o suporte nativo para Hive, HBase, Sqoop, Pig e Spark.

Os principais recursos incluem:

  • Os módulos de conhecimento (KMs), que são os objetos de integração – modelos, fluxos de trabalho e transformações – utilizados como blocos de construção de processos de integração de dados.
    Um grande conjunto de KMs é fornecido pela Oracle, mas a comunidade de usuários do Oracle Data Integrator também cria e compartilha KMs. É uma dica que vale a pena verificar.
  • Conectividade. Ele permite se conectar a uma grande variedade de fontes e metas estruturadas, não estruturadas e semi-estruturadas.
  • Repositório de metadados. Gestão que captura, apresenta e administra processos e metadados.
  • Administração e gerenciamento, que é fornecido pelo Oracle Application Development Framework e JavaScript Assíncrono e XML Framework .
  • Maior suporte a grande volume de dados ao Apache Spark, Apache Pig e trabalho com Oozie.
  • Conectividade aprimorada a arquivos, LDAP, JMS Queue XML, JMS Topic XML e XML.
  • Maiores capacidades de gerenciamento de lançamento para ambientes de produção, teste e desenvolvimento.

Além de tudo que foi listado acima, destaco um ponto importante para quem já trabalha com o OWB e pretende migrar para o ODI 12C.

Esta última versão inclui aprimoramentos importantes, como o aumento da interoperabilidade com o Oracle Warehouse Builder (OWB), bem como uma ferramenta que permite a migração do OWB para o Oracle Data Integrator.

Também pode ser integrado com o Oracle Enterprise Manager Cloud Control 12c para gerenciar implantações de produtos Oracle.

Os usuários do Oracle Data Integrator podem implantar a integração de dados em tempo real, alavancando o Oracle GoldenGate, que permite um carregamento e transformação mais rápidos e eficientes de dados em tempo real.

A Versão 12c também oferece paralelismo aprimorado, desenvolvimento de fluxo de trabalho de integração, gerenciamento de lançamento e suporte de dados de grande porte.

O Oracle Data Integrator 12c, quando usado em conjunto com outros produtos relacionados à integração Oracle, geralmente é utilizado por grandes empresas, especialmente aqueles com múltiplos usos e projetos de
integração , e aqueles que planejam continuar expandindo aplicativos de integração resultantes. As empresas que utilizam aplicativos e dispositivos Oracle normalmente utilizam o Oracle Data Integrator.

Finalizo afirmando que a ferramenta é realmente fantástica, robusta e muito boa para trabalhar. Fora que, pode proporcionar excelentes oportunidades de trabalho.

Pessoal, fico por aqui.

Dúvidas, entre em contato.

Forte abraço.

Eduardo Santana
bufallos@bufallos.com.br

Leave a Reply

Your email address will not be published. Required fields are marked *