Mostrando postagens com marcador Banco de Dados. Mostrar todas as postagens
Mostrando postagens com marcador Banco de Dados. Mostrar todas as postagens

segunda-feira, 30 de janeiro de 2012

CERTIFICAÇÃO MICROSOFT SQL SERVER 2008


Na área de TI, as certificações tem um  único objetivo, comprovar que o profissional tem conhecimento sobre a ferramenta.

Atualmente a Microsoft tem 3 séries de certificações:



As certificações relacionadas ao MS SQL SERVER 2008 (DBA), bem como sugestões de cursos oficiais e material de estudo estão no link:
http://download.microsoft.com/download/6/3/7/6370c653-e270-4e23-9685-15043f63dcce/SQLServer2008_CertPath_Complete.pdf

Centro de treinamento SQL Server 2008 R2: http://technet.microsoft.com/pt-br/hh210186



Artigo: Certificação Oracle 11g.


Artigo: Investir em Certificação SQL Server ou Oracle?



domingo, 29 de janeiro de 2012

CERTIFICAÇÃO ORACLE 11G


Para quem pretende tirar a certificação Oracle 11g, vão algumas dicas:

- A primeira prova é a OCA (Oracle Certified Associate), a segunda OCP (Oracle Certified Profissional), maiores detalhes podem ser vistos no site da Oracle http://education.oracle.com/pls/web_prod-plq-dad/db_pages.getpage?page_id=198#OCA.

- O exame para certificação OCA são o 1ZO-051(Fundamentals I)  e 1ZO-052 (Administration I).

- O exame para certificação OCP tem como pré-requisito ter passado no OCA e ter feito um curso oficial da Oracle para OCP e é o 1ZO-053 (Administration II).

- As provas são em inglês.

- O tempo conta muito, se possível compre ou baixe simulados e vai treinando e já correndo contra o relógio, pois além de serem questões complexas, com possíveis pegadinhas e múltipla escolha tem-se o agravante do inglês, não se pode perder muito tempo em uma questão e/ou ficar voltando para rever algo.

Artigo: Certificação Microsoft SQL Server 2008.

Artigo: Investir em Certificação SQL Server ou Oracle?

INVESTIR EM CERTIFICAÇÃO SQL SERVER OU ORACLE?


Qual o mais importante no mercado?


O Oracle é um banco de dados incrível, mas sua utilização ainda é restrita. O número de profissionais certificados em Oracle é menor e com isso as oportunidades aumentam. O mercado do SQL Server é mais abrangente, mas sua administração é tão simples que muitas empresas acabam dispensando uma certificação específica para ele, principalmente se você já tiver experiência como DBA.

Outro fator importante vai depender muito do sistema operacional que a empresa utiliza. O Oracle permite trazer informações mais fáceis, mas o SQL Server está mais adaptado aos sistemas operacionais pela simplicidade de seu banco de dados.

Portanto, os dois profissionais ainda são muito procurados no mercado. Em geral as empresas terão os dois bancos rodando, exceto as empresas menores que talvez não tenham o Oracle. O profissional de Oracle é mais valorizado no mercado, pois, na maioria dos casos tem muita empresa que deixa o SQL na mão do administrador.

Mais qual certificação escolher? Vale algumas vantagens de um para o outro:
- Oracle é mais robusto, em geral para empresas grandes e multinacionais;
- O retorno financeiro com Oracle é ótimo;
- O SQL Server é muito versátil, tudo é mais fácil para trabalhar com o programa;
- O custo e funcionalidades do SQL Server o tornam indicados para empresas de médio e grande porte;
- O SQL Server é mais barato que o Oracle, mas isso não é uma vantagem se o orçamento não limitá-lo;
- O SQL Server, por exemplo, não roda em Linux, mas isso não é uma desvantagem se você só opera em Windows.

Desta forma, para definir qual caminho seguir, tenha uma visão de: Mercado x Tempo x Onde Quero Estar.

Artigo: Certificação Oracle 11g.

Artigo: Certificação Microsoft SQL Server 2008.

terça-feira, 20 de setembro de 2011

ROTINA DE BACKUP E RESTORE NO POSTGRESQL

Neste artigo, vamos criar uma rotina de backup e outra de restauração de uma base de dados do PostGreSQL.

1º - Abra o bloco de notas e digite o script de backup abaixo. Note que usamos o serviço pg_dump nativo do PostGreSQL para criar um backup.

/*define o usuário e a senha*/
set PGUSER=nome do usuário
set PGPASSWORD=senha

/*captura a data do sistema*/
for /f "tokens=1,2,3,4 delims=/ " %%a in ('DATE /T') do set Date=%%b-%%c-%%d 

/*passa em sequência: o serviço pg_dump, o servidor onde está o banco de dados, a porta, o nome do usuario, o caminho onde será armazenado o backup concatenado com a data*/   
C:\Arquiv~1\Postgr~1\8.4\bin\pg_dump.exe -i -h localhost -p 5432 -U nome_usuario -F c -b -o -v -f "C:\caminho\backup\bancoBackup%Date%.backup" nome_banco

2º - Ao final salve o arquivo com a extensão .bat (arquivo executável).

3º - Abra novamente o bloco de notas e digite o script de restore abaixo. Neste momento, usamos o serviço pg_restore nativo do PostGreSQL para criar uma restauração da base de dados.

/*define o usuário e a senha*/
set PGUSER=nome do usuário
set PGPASSWORD=senha

/*captura a data do sistema*/
for /f "tokens=1,2,3,4 delims=/ " %%a in ('DATE /T') do set Date=%%b-%%c-%%d 

/*passa em sequência: o serviço pg_restore, o servidor onde está o banco de dados, a porta, o nome do usuário, o nome do banco de dados, o caminho onde será capturado o backup feito*/       
C:\Arquiv~1\Postgr~1\8.4\bin\pg_restore.exe -i -h localhost -p 5432 -U nome_usuario -d nome_banco -v "C:\Sistema-siscae\backup\bancoBackup%Date%.backup"

4º - Salve o arquivo com a extensão .bat (arquivo executável).

5º - Neste momento, é só executar o arquivo.


domingo, 21 de agosto de 2011

QUEM VENCE A DISPUTA ENTRE BANCO DE DADOS? (PARTE 2)

Continuando o artigo sobre "Quem vence a disputa entre banco de dados?", veremos comparações entre os sistemas gerenciadores de banco de dados nos seguintes aspectos:
  • Capacidades;
  • Tipos de Dados;
  • Objetos;
  • Particionamento;
  • Controle de Acesso.

Capacidades de Banco de Dados

Informações sobre capacidades do banco de dados







Os Tipos de Dados
Informações os tipos de dados e suporte
Objetos

Informações sobre objetos

Nota: Ambos function e procedure referem-se a rotinas internas escritas em SQL.
 Particionando

Informações sobre particionamento

Controle de Acesso

Informações sobre controle de acesso


Observação: Como o mercado de banco de dados está em alta, as mantenedoras dos sistemas gerenciadores de banco de dados lançam vários pacotes de atualização dos seus produtos, desta forma, fique atento quanto as características e novas funcionalidades criadas.

Veja: QUEM VENCE A DISPUTA ENTRE BANCO DE DADOS 

Finalizamos essa matéria sobre as características e comparações entre sistemas gerenciadores de banco de dados. Até o próximo post. 

quarta-feira, 10 de agosto de 2011

Procedure de Backup e Restore no SQL Server

Backup e restauração de bases de dados é um procedimento muito repetitivo e importante em administração de banco de dados, pois utilizamos esse processo para replicar base de dados para testes de sistemas e entre outras finalidades.
Para agilizar esse processo, podemos criar uma Stored Procedure para realizar o backup de uma base de origem e efetuar a restauração para a base de destino. 

Nota: Stored Procedure é uma coleção de instruções implementadas com linguagem T-SQL, que, uma vez armazenada, ficam dentro do servidor de forma pré-compilada, aguardando uma requisição de um usuário do banco de dados. A utilização de Stored Procedures é uma técnica eficiente de executarmos operações repetitivas. Ao invés de digitar os comandos cada vez que determinada operação necessite ser executada, criamos um Stored Procedure e o chamamos.


 

1º Passo - Abrir uma conexão com o SQL Server.

2º Passo - Clicar em New Query para executar o comando.

3º Passo - Escolher a base de dados para salvar a Stored Procedure.

4º Passo - Digitar a procedure de alteração conforme abaixo.

ALTER PROCEDURE [dbo].[REPLICACAO]
    @DBORIGEM VARCHAR(500), /*Banco de dados de Origem*/
    @DBDESTINO VARCHAR(500) /*Banco de dados de destino*/
AS
BEGIN

DECLARE @DEVICE VARCHAR(500) /*RECEBE O NOME DO BACKUP*/
DECLARE @PATH VARCHAR(500) /*RECEBE O CAMINHO ONDE SERÁ SALVO O BACKUP*/

/*CONCATENA NOME DO BANCO DESTINO + DATA + EXTENSÃO DE BACKUP .BAK */
SET @DEVICE =    @DBDESTINO + '_' + CAST(DATEPART (mi,GETDATE())AS CHAR(2)) +
                CAST(DATEPART (ss,GETDATE())AS CHAR(2)) +
                '.bak'

SET @PATH = 'C:\Arquivos de programas\Microsoft SQL Server\MSSQL\BACKUP\' + @DEVICE

/*ADICIONA UM DISPOSITIVO DE BACKUP*/
EXEC sp_addumpdevice 'disk', @DEVICE ,@PATH

/*CRIA BACKUP*/
BACKUP DATABASE @DBORIGEM TO DISK = @PATH

DECLARE @BASE VARCHAR(500) /*RECEBE CAMINHO DO BACKUP DE DADOS*/
DECLARE @LOG VARCHAR(500) /*RECEBE CAMINHO DO BACKUP DE LOG*/
DECLARE @DBORIGEMDATA VARCHAR(500) /*RETORNA BANCO DE ORIGEM + BACKUP DE DADOS*/
DECLARE @DBORIGEMLOG VARCHAR(500) /*RETORNA BANCO DE ORIGEM + BACKUP DE LOG*/

SET @BASE = 'C:\Arquivos de programas\Microsoft SQL Server\MSSQL\data\' + @DBDESTINO + '.MDF'
SET @LOG = 'C:\Arquivos de programas\Microsoft SQL Server\MSSQL\data\' + @DBDESTINO + '_Log.LDF'

SET @DBORIGEMDATA = @DBORIGEM + '_Data'
SET @DBORIGEMLOG = @DBORIGEM + '_Log'

/*REALIZA A RESTAURAÇÃO DA BASE DE DADOS COM OS ARQUIVOS .BAK, .MDF E .LDF*/
RESTORE DATABASE @DBDESTINO
    FROM DISK = @PATH
    WITH
    MOVE @DBORIGEMDATA TO @BASE,
    MOVE @DBORIGEMLOG TO @LOG,
    NOUNLOAD, STATS = 10, REPLACE

/*PROCEDIMENTO PARA DELETAR BACKUP APÓS A RESTAURAÇÃO*/
EXEC SP_DROPDEVICE @DEVICE,'DELFILE'

BACKUP LOG @DBDESTINO WITH TRUNCATE_ONLY

DBCC SHRINKDATABASE (@DBDESTINO,0,TRUNCATEONLY) /*ZERA O ÍNDICE*/

END

5º Passo - Após a digitação dos comandos, clicar no botão Execute ou pressionar a tecla F5.

6º Passo - Chamar a Stored Procedure através do comando:

EXEC REPLICACAO 'DBORIGEM', 'DBDESTINO'

Até o próximo post.

domingo, 7 de agosto de 2011

QUEM VENCE A DISPUTA ENTRE BANCO DE DADOS?

Dados FGV-EAESP
Atualmente os SGBDs (sistemas gerenciadores de banco de dados) competem entre si para ver quem ganha a disputa no mercado corporativo. Hoje, o banco de dados Oracle possui 36% do mercado nacional seguido pelo SQL Server com 34%, segundo pesquisa da FGV-EAESP realizada em janeiro de 2011.

Neste artigo, vamos detalhar o uso dos principais sistemas gerenciadores de banco de dados nos seguintes cenários: informações gerais, suporte ao sistema operacional, características, limites, tabelas e exibições, índices.




Informações Gerais

Informações Gerais

Suporte a Sistema Operacional

Suporte pelos Sistemas Operacionais



Características

Características
* atomicidade, consistência, isolamento, durabilidade.
* Codificação de caracteres.
* Interface gráfica de usuário.

Limites

*dados aproximados.

Tabelas e Exibições


Índices


No próximo post sobre banco de dados, vamos ver capacidades, tipo de dados, objetos, particionamento e controle de acesso.


quarta-feira, 17 de março de 2010

Os 5 grandes desafios no processo de Desenvolvimento de Software

* Artigo do site iConnect.

Esse artigo tem como objetivo demonstrar e alertar aos desenvolvedores, em especial os iniciantes, sobre os grandes desafios que nós profissionais enfrentamos durante todo o processo de desenvolvimento de um software, desde o levantamento de requisitos até a implantação do mesmo.
A cada dia que se passa as pessoas estão mais dependentes de softwares, desde um simples usuário doméstico até grandes empresas que dependem 100% de softwares.
Com isso os usuários se tornam cada vez mais exigentes, solicitando a cada dia que se passa programas mais complexos de serem implementados e que satisfaçam seus objetivos de modo eficiente. Então descrevo abaixo cinco dos principais desafios enfrentados por nós desenvolvedores:

1 - Análise de Requisitos:

A análise de requisitos é um fator essencial do sucesso de um software. Se a análise for feita de maneira incorreta o resultado final será completamente inaceitável. A má notícia é que a análise de requisitos correta não depende apenas de nós, mas também dos clientes. Clientes que muitas vezes não sabem realmente o que eles querem e acabam passando de forma errônea o que desejam que o sistema faça.
É nesse ponto que entra a importância do analista, gerente de projetos ou mesmo o desenvolvedor, manter sempre contato com o seu cliente. Um outro erro muito comum, principalmente para os profissionais que estão começando, é achar que uma breve conversa com o cliente sobre o sistema, uma simples explanação a respeito dos objetivos e das funções do software, é o suficiente para desenvolver um sistema de maneira correta.

2 - Tempo:

Todos nós sabemos da grande dificuldade de seguir o cronograma previsto sem atropelar os prazos. Então, manter os prazos em ordem é um outro grande desafio a ser enfrentado. A maior conseqüência de não entregar o produto no prazo determinado, é a desconfiança e a perda de credibilidade que o cliente vai ter com relação a você ou a sua empresa. No grande esforço para entregar o software no prazo previsto, muitas vezes os profissionais atropelam etapas importantíssimas do desenvolvimento, como, por exemplo, a fase de testes, comprometendo e muito a qualidade do produto final.

3 - Complexidade e eficiência:

Como citei no inicio do artigo, os usuários estão cada vez mais exigentes, solicitando sistemas complexos e que sejam eficientes, ou seja, eles querem que o software, independente da sua complexidade, tenham um tempo de resposta mínimo, não hajam nenhum tipo de falha e atenda a todas as suas necessidades.

4 - Mudanças durante o desenvolvimento:

Estamos sempre sujeitos a ter que modificar, remodelar todo ou grande parte do nosso sistema durante o desenvolvimento. Isso porque o nosso cliente, durante a análise de requisitos, não nos fornece tudo o que o sistema necessita, trazendo sempre novas idéias e pedindo modificações durante os processos pós-análise de requisitos. Isso compromete em muito o resultado final.

5 - Usabilidade:

Independente da quantidade de funcionalidades do nosso sistema, sempre temos que preocupar com a sua usabilidade, ou seja, com a facilidade que o usuário terá para interagir com o sistema. Hoje com inúmeros softwares no mercado, é muito fácil o cliente migrar de um software para outro na primeira dificuldade que encontra.
Acima listei apenas 5 grandes desafios, que considero muito importantes, e que nós desenvolvedores, encontramos e encontraremos durante o processo de "fabricação" do software.

Fonte: Oficina da Net

sexta-feira, 22 de janeiro de 2010

Performance Data Warehouse

* Artigo do site iConnect.


O Performance Data Warehouse, que também é conhecido como Performance Studio, é um recurso implementado no SQL Server 2008 que permite a coleta de informações para estudo e análise de performance.
Esse novo recurso é baseado em uma feature chamada de Data Collector e está sobre dois pilares:
  • SSIS (SQL Server Integration Services)
  • SQL Server Agent
Toda a coleta de dados feita é armazenada em um database previamente configurado, e a coleta pode ser feita através dos tipos de coletores abaixo:
  • T-SQL Query
  • SQL Trace
  • Performance Counter
  • Query Activity
O Data Collector gera dinamicamente os resultados gravando em tabelas de output. Quando os resultados forem gerados a partir de query devemos ter o cuidado de não incluir na consulta campos com nomes como snapshot_time, snapshot_id ou database_name. Isso porque são nomes reservados do Data Collector.
Outra consideração é que campos do tipo XML, Text, Image, nText não serão incluídos no retorno e não serão coletados.
As DMVs para consultar o Query Activity Collector são:
  • Sys.dm_exec_requests
  • Sys.dm_exec_sessions
  • Sys.dm_exec_query_stats
Para utilizarmos esse recurso precisamos seguir os passos que eu vou descrever abaixo:
  • Habilitar o Data Collection
  • Configurar o banco de dados que gravará a coleta
  • E analisar os dados
  • Vejamos isso na prática, é muito fácil.
Configurando o Data Collector
No Manegement Studio, abra o Object Explorer e expanda a guia Management. Lá haverá um item chamado Data Collection. Para habilitar, basta clicar com o botão direito e clicar na opção Enable Data Collection.

Acesse o Data Collection novamente com o botão direito do mouse e clique na opção Configure Management Data Warehouse, isso abrirá um wizard. Basta avançar na tela de Welcome e na próxima tela marcar Create or upgrade a management data warehouse e clique em avançar.

Na próxima tela iremos definir os dados de gravação da coleta, no caso, o database. Para isso, clique em New, isso fará com que abra a tela de New Database. Crie um banco de dados chamado coleta, clique em OK, e voltaremos ao Wizard do Data Collection, e é só avançar para continuarmos.

Map Logins and Users é onde selecionaremos os usuários e os logins que serão usados para coleta. Nesse caso, selecione o usuário que corresponde ao SQL Server Service e a role mdw_admin. Após configurar essa etapa, basta avançar e concluir.

Configurando o Management Data Warehouse
Agora que temos o Data Collector configurado, vamos configurar o Management Data Warehouse. Clique com o botão direito sobre o item Data Collection e selecione a opção Configure Management Data Warehouse. Selecione Set up data collection e clique em avançar.

Na próxima tela, vamos deixar as opções padrão e avançar. Ao fazer isso, abrirá a tela de autenticação do SQL Server, confirme as credenciais e clique em finalizar.
Agendando a coleta
As coletas não precisam ser feitas sempre? Ou precisam? Essas perguntas são respondidas apenas com estudo de caso da situação. Algumas vezes, na maior parte dos casos, vamos coletar apenas em períodos em que uma determinada situação ocorre.
Para realizarmos o agendamento de um item, como exemplo a utilização de disco, vamos expandir o item System Data Collection Sets e clicar sobre Disk Usage com o botão direito e selecionar propriedades.


Na tela de propriedades, sobre a opção Data collection and upload, temos o Schedule, clique em New. Isso abrirá a tela de New Job Schedule e é só preencher o nome e o período do agendamento. Veja a imagem abaixo - o agendamento foi feito para acontecer todas as segundas-feiras, quartas-feiras, sextas-feiras e sábados às 13 horas.

Importante lembrar que o agendamento só irá funcionar se o serviço do SQL Server Agent for inicializado.
Relatório
Ok, temos um coletor de informações que está programado para acontecer em determinado período, mas como vamos visualizar essas informações?
Simples: na opção Data Collection clicamos com o botão direito do mouse e sobre o item Reports, abrirá o item Management Data Warehouse e nessa opção encontraremos o item Disk Usage Summary.


Conclusão
O SQL Server 2008 traz novas ferramentas para análise e monitoramento de ajustes de performance. Esse tipo de monitoramento em versões anteriores era apenas feito através de ferramentas de terceiros.
Espero que esse artigo ajude a iniciar boas análises e grandes descobertas.

Fonte: iMasters

Raspagem de dados

* Artigo do site iConnect.


Olá, pessoal. Na coluna desta semana vou comentar sobre uma ideia que já é antiga, mas vem ganhando alguma atenção recentemente: a raspagem de dados. Comentarei sobre o que se trata, alguns detalhes, um exemplo e também apresentarei outras questões relevantes.
O conceito de raspagem de dados, ou data scrapping, não é novo. De acordo com a página americana da Wikipédia, desde os primórdios da informática já havia a necessidade e soluções para se obter dados a partir da tela do computador, ou seja, obter os dados que estão em telas, relatórios e outros formatos que não são convencionais.
Com o surgimento da internet, cada vez mais dados são publicados on-line. Porém a maioria destes dados não é pronta para ser consumida, sob o ponto de vista de um banco de dados, e ser transformada em informação relevante. Isso quer dizer que é preciso, de alguma maneira, obter os dados publicados nos seus mais variados formatos, limpá-los e armazená-los em um formato que possa ser facilmente manipulado.
Na área de banco de dados já existe uma sigla que resume este processo: ETL. Um processo ETL (Extract Transform Load - Extração Transformação Carga) é adotado periodicamente ou esporadicamente e sua função é a extração de dados de diversos sistemas, a transformação desses dados conforme regras de negócios e, por fim, a transferência dos dados para um local de armazenamento. Geralmente utiliza-se ferramentas ETL que possuem recursos para a manipulação de diversos formatos de dados, como arquivos texto, PDF, HTML, XML, dados relacionais, DBF, etc. durante o processo ETL. Além disso, as ferramentas específicas para se implementar o processo ETL contam com mecanismos para modificar, complementar, consolidar, acrescentar, transformar, apagar e muitas outras formas de manipular dados antes de enviá-los ao seu destino final.
Devido à peculiaridade, à variação de formato e até à forma de disponibilizar os dados na internet, as ferramentas que fornecem suporte para implementar ETL não são capazes de obter e manipular os dados on-line muito bem. Devido a isso, muitas pessoas começaram a chamar o processo de obtenção e manipulação de dados on-line de raspagem de dados e criar ferramentas para auxiliar a obtenção de dados. Já existem até livros que abordam este assunto focando em como implementar a raspagem de dados em linguagens específicas. Faz muito sentido pensar em ETL em um ambiente corporativo, pois algumas pesquisas recentes indicam que aproximadamente 80% do total de informação corporativa são armazenados em dados não estruturados.
Lembro-me de que uma das primeiras vezes em que ouvi o termo raspagem de dados foi durante a conferência Transparência Hack Day, realizada em 2009. Neste evento diversos projetos foram apresentados para obter dados visando ao ativismo digital, em especial para a área de fiscalização, ao acompanhamento político e também à obtenção de notícia e fotos. Este projetos sugerem que a obtenção de dados públicos pode facilitar e tornar transparente o acompanhamento de ações políticas, destino de recursos, causas e efeitos de atitudes, conscientização e outros fins. Contudo, é preciso separar a parte técnica envolvida na obtenção e na manipulação dos dados da parte que apresenta, interpreta e faz uso dos dados.
Focando na parte técnica, geralmente as ferramentas de raspagem de dados se baseiam na premissa de que o dado está dentro de uma página HTML disponibilizada em um site. Neste cenário a raspagem de dados se resume na obtenção e na manipulação destes dados, geralmente por meio de um script que acessa o código fonte da(s) página(s) HTML, faz uma cópia local deste conteúdo, aplica alguma regra para a obtenção do dados em si (geralmente através de uma expressão regular ou instruções SQL) e joga os dados em uma tabela de um banco de dados. Apesar de existirem outras fontes de dados OnLine, como arquivos PDF, imagens, animações flash, podcasts, planilhas on-line e outros, o princípio das ferramentas que fazem raspagem de dados segue o mesmo conceito básico.
O uso de scripts é feito devido à facilidade e à quantidade de recursos que podem ser empregados na raspagem de dados. Geralmente este script contém uma chamada para uma ferramenta ou instrução que faz uma requisição web por meio de um POST ou GET, que são comandos do protocolo HTTP. Depois de obter a página, o script geralmente salva o seu conteúdo em um arquivo no disco ou faz um parser no mesmo, ou seja, lê o código da página e obtém o dado que é relevante. Devido à variedade de formatos, layouts, designs e outros fatores visuais encontrados nas páginas da web, geralmente os scritps de raspagem de dados são customizados para uma determinada fonte.
Como exemplo, posso citar o projeto Legisdados, um projeto para agregar software de extração de dados do Legislativo Brasileiro. A iniciativa partiu dos projetos CongressoAberto e ParlamentoAberto que, como fica claro pelos nomes, têm muito em comum. Para evitar repetição de esforços e desacoplar extração de dados de aplicações escritas usando esses dados, o projeto agrega scripts de raspagem de dados relativos ao poder Legislativo. A idéia é aumentar a colaboração entre os dois projetos e incentivar o surgimento de novas aplicações.
Atualmente já existem algumas ferramentas e produtos além de projetos independentes para a raspagem de dados. Destaco o Yahoo! Query Language (YQL), uma excelente linguagem que pode ser utilizada em conjunto com a plataforma Yahoo! Pipes. Além disso, existem diversas outras ferramentas que permitem a raspagem de dados, como apresentado no link na parte final do artigo.
Uma rápida pesquisa por ferramentas de screen scraper em qualquer buscador vai retornar uma quantidade considerável de ferramentas para a raspagem de dados. Porém, por mais adequada que seja a ferramenta, sempre é preciso algum nível de customização ou, na maioria das vezes, algum esforço de programação.
Para quem acompanha as minhas colunas aqui no iMasters pode ter percebido que eu já escrevi uma coluna onde acabei precisando criar um pequeno script para a raspagem de dados. A coluna em questão chama-se Estatísticas do canal #cparty, onde tive que obter os dados do canal #cparty fornecido pelo Livestream do BlogBlogs e que poderia ser atualizado por vários meios. Na sequência apresentarei os 6 passos que utilizei para obter os dados que estavam separados em várias páginas HTML. Destaco que estes 6 passos podem ser utilizados como um pequeno guia para quem está pensando em montar um script ou utilizar uma ferramenta de raspagem de dados.

1. Entenda a fonte de dados

Antes de obter o dado on-line é preciso conhecer muito bem a fonte de dados. Isso quer dizer que é preciso navegar pela página, verificar se as informações são paginadas, colocadas em uma tabela, frame, área dinâmica ou controle, se requerem um login, se são disponibilizadas em um arquivo, possuem acesso via API, seguem algum padrão de apresentação e organização e outros detalhes relevantes. No exemplo da #cparty eu estudei a página e vi que apenas certa quantidade de dados eram apresentados na página do Livestream. Como eu queria todos os dados de certo período, eu tive que entender o parâmetro da URL utilizada na parte de arquivos. Isso quer dizer que a cada requisição do tipo GET eu precisava passar um parâmetro da página que gostaria de consultar.
Este tipo de atitude é comum. Fazer raspagem de dados com certeza vai acabar envolvendo a manipulação de parâmetros de uma URL, principalmente quando não se deseja obter todos os dados de um vez só, ou seja, são necessários filtros. Novamente, aqui não há regra: cada site da web possui um jeito de apresentar informações, porém para evitar a sobrecarga geralmente algum tipo de paginação é feita, que pode apresentar a forma de links com o número da página, controles do tipo combo-box ou outros. Em alguns casos é preciso até fornecer parâmetros de pesquisa em um controle e forçar um POST para se chegar os dados ao invés de simplesmente fazer uma requisição do tipo GET.
Há casos mais complexos onde é preciso realizar um login antes ou até elaborar alguma maneira de se ler um dado que não está armazenado em texto, como dados colocados dentro de uma figura, animações flash ou arquivos PDFs. Nestas situações é preciso primeiro entender o que é necessário para se obter o dados para só depois pensar na tecnologia necessária para se extrair o dado e transformá-lo no formato adequado.

2. Planejar como será feita a obtenção bruta dos dados

Uma vez que é já se conhecem os detalhes da fonte de dados é hora de planejar como será planejada a obtenção dos dados. Isso quer dizer é preciso relacionar ferramentas, ambiente, plataforma, link de internet e outros recursos tecnológicos necessários para se obter os dados. Aqui também não há uma regra geral, pois cada situação pode requerer uma ferramenta específica. Por exemplo, se o dado está armazenado em uma imagem pode ser preciso utilizar uma biblioteca OCR ou algo similar para se obter o dado. Outra situação envolve animações em flash, estruturas de dados em JavaScript, aplicativos em Java, silverlight ou algo assim. Obter dados que estão dentro destas tecnologias pode ser complexo, porém não impossível.
No exemplo eu decidi utilizar um script em SQL por conveniência, uma vez que tenho experiência nesta linguagem. Planejei montar um script que faria uma chamada a um executável no console com o objetivo de obter a página em um arquivo texto. Esta chamada foi colocada dentro de um loop onde criei dinamicamente o número da página na URL que seria passada como parâmetro para o aplicativo de código livre wget.exe para plataforma Windows. Este pequeno programa wget.exe recebe como parâmetro a URL da página e o arquivo texto onde será armazenado o código HTML. Após o loop eu joguei todas as páginas em um único arquivo HTML.
Depois de capturar os dados eu teria um arquivo texto grande com todo o conteúdo das páginas. Apesar de conter os dados que eu queria, o arquivo também tinha muitas tags HTML que não me interessavam e que foram removidas em um passo posterior.

3. Programar a captura dos dados

Uma vez que o planejamento estava pronto, bastou programar o script que montava o loop e fazer a chamada ao arquivo wget.exe. Neste ponto me deparei com alguns detalhes de implementação, como a necessidade de criar um arquivo .bat para poder chamar o arquivo wget.exe.
Geralmente a implementação da raspagem de dados envolve muitos detalhes específicos, como a utilização de bibliotecas no script, a criação de nomeclaturas para os arquivos, a alocação de espaço em disco e outros detalhes técnicos. Vale a pena lembrar também que neste passo de programação é preciso efetuar testes e também considerar questões de desempenho e acesso aos dados. Algumas páginas da Web podem perceber que estão recebendo muitas requisições simultâneas de um mesmo endereço IP e bloquear o acesso. Para isso, faça testes que possam ajudar a identificar problemas quando o script da raspagem for executado.

4. Verificar os dados capturados e realizar a limpeza

Após programar e executar o script que faz a raspagem de dados é preciso verificar se tudo ocorreu bem e se os dados brutos realmente foram capturados. Aqui não é preciso realizar uma verificação completa, e sim apenas checar se o processo automático realmente capturou os dados.
Na maioria das situações a raspagem de dados não trará os dados já prontos e no formato adequado, a não ser que isso seja planejado desde o começo by design. Isso quer dizer que geralmente muito do que foi capturado precisa ser limpo e transformado em informação que realmente pode ser manipulada da maneira desejada.
Aqui temos algumas opções que envolvem trabalhar diretamente no que foi capturado ou jogar tudo em um local que forneça recursos para manipulação dados. Os bancos de dados atuais trabalham muito bem com a linguagem SQL, que é feita sob medida para tornar fácil a manipulação de dados. Porém existem diversas outras ferramentas que permitem o uso de expressões regulares para limpar os dados, em especial a linguagem Perl e vários comandos do shell do Unix, que também conta com o conveniente mecanismo de redirecionamento de dados conhecido como pipes.
Na maioria das vezes é preciso eliminar dados irrelevantes que vieram junto com os dados desejados. No exemplo da #cparty todo o HTML da página que não continha o que foi escrito no Twitter deveria ser eliminado. Optei por carregar todo o arquivo com os dados capturados em uma tabela com uma única coluna contendo caracteres sem limites. A separação em linhas foi feita de acordo com os caracteres separadores de final de linhas (CR+LF). Aliás, quem trabalha com raspagem de dados em texto deve estar preparado para conhecer bem certos caracteres especiais, especialmente os caracteres de controle.
Já com os dados carregados em uma só tabela eu complementei o script com diversas instruções UPDATE e DELETE que eliminaram as linhas que eu não queria. Além disso, pude utilizar a instrução SELECT para prototipar as chamadas às funções que manipulam strings (SUBSTRING, REPLACE, etc) e montar as colunas com os dados no formato que eu precisava.

5. Carregar no banco de dados e adequar os dados ao formato modelado

Uma vez que já se tenha realizado a limpeza nos dados e outras manipulações, recomenda-se colocar os dados em um formato que seja adequado. Este passo muitas vezes requer a modelagem de uma ou mais tabelas em um banco de dados visando à integração com um sistema ou com uma ferramenta que possa fazer a visualização de dados de forma gráfica. Além disso, as ferramentas de relatórios ou de mineração de dados podem exigir um formato proprietário que pode ser facilmente gerado através de ferramentas de importação e exportação dos banco de dados.
Destaco que a modelagem é uma tarefa muito importante, principalmente quando se fala em integração com dados já existentes que estão separados em várias tabelas. Aqui é preciso tomar cuidado na ordem de inserção, pois relacionamentos de chave primária e chave estrangeira forçam a integridade relacional do banco de dados e requerem uma ordem específica de inserção, deleção e atualização dos dados.
No exemplo da #cparty foi fácil criar uma tabela a partir da instrução SELECT que já separava corretamente as colunas da tabela. Fiz isso utilizando a cláusula INTO da instrução SELECT, pois no SQL Server esta cláusula permite a criação de uma tabela a partir do que a instrução SELECT retornar. Porém tive também que adequar os dados obtidos ao formato dos tipos de dados do SQL Server, o que deu certo trabalho. Foi especialmente complicado adequar a data da mensagem devido ao formato necessário para a inserção desta data no tipo de dados DATETIME do SQL Server.
Quanto todos os dados já estavam armazenados na tabela fiz questão de criar índices e também uma chave primária artificial para que a manipulação apresentasse uma performance razoável. Como utilizei o site ManyEyes para realizar algumas visualizações, tive que exportar os dados para outro arquivo texto já com as palavras separadas por cada dia do evento.

6. Deixar a solução pronta para ser utilizada novamente

Algumas raspagens de dados precisam ser periódicas, ou seja, devem ser executadas com alguma freqüência. Nestes casos vale a pena incrementar o script e montá-lo de forma que possa ser chamado várias vezes e em vários horários automaticamente.
Isso implica em planejamento de armazenamento, expurgo de dados, horário de execução e recursos adicionais como backup, garantia de largura de banda e backup. A forma de implementar a reutilização do script varia de plataforma para plataforma, porém a maioria dos bancos de dados e o próprio sistema operacional contêm ferramentas, funcionalidades e maneiras de se criar tarefas agendadas, cujo resultado de execução pode ser acompanhado posteriormente.
No exemplo da #cparty não houve a necessidade de executar o script de raspagem de dados novamente, pois o que eu queria era obter apenas a quantidade de dados de um período fechado. Porém nem todas as soluções seguem esta idéia e podem precisar de extração de dados periódica.
Para terminar, destaco a questão do uso e da disponibilização dos dados. Ao contrário do que muitos podem pensar, nem tudo que é colocado na internet é público e pode ser utilizado como bem entender. Existem muitos dados que são publicados na internet, independente da sua origem/site, que estão protegidos por copyright ou outro modelo de licença. Infelizmente nem sempre é possível obter informações sobre a licença do dados, porém, em caso de dúvida, é preciso adotar uma postura ética e perguntar para quem está disponibilizando a informação e como ela pode ser utilizada.
Um grande abraço e até a próxima, pessoal!

Fonte: iMasters

quinta-feira, 21 de janeiro de 2010

Microsoft Access - o que é?

* Artigo do site iConnect.


O Microsoft Access (nome completo Microsoft Office Access), também conhecido por MSAccess, é um Sistema de gerenciamento de banco de dados da Microsoft, incluído no pacote do Microsoft Office Professional, que combina o Microsoft Jet Database Engine com uma interface gráfica do utilizador (graphical user interface). Ele permite o desenvolvimento rápido de aplicações que envolvem tanto a modelagem e estrutura de dados como também a interface a ser utilizada pelos usuários.
Microsoft Access é capaz de usar dados guardados em Access/Jet, Microsoft SQL Server, Oracle, ou qualquer recipiente de dados compatível com ODBC.
O desenvolvimento da estrutura de dados se dá de forma muito intuitiva, bastando que o desenvolvedor possua conhecimetos básicos em modelagem de dados e lógica de programação.
Programadores relativamente inexperientes e usuários determinados podem usá-lo para construir aplicações simples, sem a necessidade de utilizar ferramentas desconhecidas.
Primeiramente foi o nome de um programa de comunicação da Microsoft, destinado à competir com ProComm e outros programas. Esse produto fracassou e foi abandonado. No segundo semestre de 1992 a Microsoft lançou seu primeiro Sistema de Gerenciamento de Banco de Dados e reusou o nome: o Microsoft Access (MS Access).
Para a Microsoft havia uma grande vantagem quanto ao mercado, como era a dominadora do seu próprio mercado, foi a primeira a lançar um software executável em plataforma Windows, enquanto que os outros programas deste segmento, liderados pela dBa-se, eram voltados para o ambiente DOS. Ao ser lançado por um preço bastante atrativo o MS Access 1.0 para Windows foi logo tomando conta do seu espaço. Um dos fatores que muito contribuiu pra isto foi o seu preço de apenas noventa e nove dólares e também contamos com os investimentos que os administradores da Microsoft fizeram como a compra da Fox Software por cento e setenta milhões de dólares.
Embora as vantagens de lançamentos, faltava de um pacote de ferramenta para desenvolvedores, o que foi princípio para muitas reclamações, assim como a limitação do software de 128MB de memória. Já em 1993 é lançado no mercado MS Access 1.1 com a ampliação para 1GB de memória e junto a ele veio Distribution Kit e os incentivos da para que os desenvolvedores criassem seus aplicativos e os vendessem sem a necessidade do cliente ter uma versão do Access em seu computador, bastava apenas utilizar o Access Runtime.
No entanto o programa ainda precisava de reajustes e dois anos depois modificações apareceram com a versão 2.0. Agora era possível trabalhar com 254 tabelas ao mesmo tempo e no mesmo arquivo de dados. O novo ambiente de programação dava facilidades ao desenvolvedor e agora também não era mais necessário digitar imensas linhas de códigos. Neste mesmo ano chega ao Brasil a versão em português do Access.
A nova versão do MS Access , em 1995, pulou para 7.0 acompanhando o pacote de programas Microsoft Office 7.0. Introduzida na era de 32 bits a nova versão do Access vinha acompanhada com a linguagem Visual Basic for Applications (VBA), com o seu próprio ambiente de programação. Além do recurso de replicar banco de dados, dando a possibilidade de trabalhar off-line em cópias de banco de dados, podendo ser sincronizada com a base central.
Em março de 1997 foi lançada a versão 8.0, preparada para internet, capaz de gravar hiperlinks e salvar arquivos em formato HTML. E em 1999 lança a versão 9.0, também conhecido como MS Access 2000, com suporte a OLE DB e um produto independente até hoje. Com isso, em 2002, a nova versão com suporte a uma linguagem mais comum, o XML (Extensible Markup Language), que é uma linguagem de marcação de dados e também dá uma maior integralidade com o browser, podendo criar páginas em formato HTML de acesso as dados do banco.
O Access 2003 na sua versão 11 traz maior integração com browser, além da linguagem VBA, marcação em XML e incorporação da linguagem SQL nas consultas de tabelas do banco.

Usos

Geralmente uma aplicação desenvolvida com o Access através da linguagem de programação VBA (Visual Basic for Applications) consiste em dois arquivos, um que se denomina BackEnd, onde ficam armazenadas todas as tabelas com seus respectivos relacionamentos, e outro denominado FrontEnd, onde ficam armazenados os códigos fontes, formulários, módulos, consultas, macros, etc.
O código fonte pode ser compilado, mas não é possível gerar um executável. Para rodar os aplicativos desenvolvidos é necessário que o usuário possua em sua estação de trabalho o MSAccess instalado ou pelo menos o seu Runtime que vem a ser uma versão enxuta do MSAccess que servirá apenas para rodar os aplicativos sem a possibilidade de desenvolvimento.
Com o Microsoft Access é possível desenvolver desde aplicações simples como por exemplo, um cadastro de clientes, controle de pedidos até aplicações mais complexas, como por exemplo, todo o controle operacional, administrativo e financeiro de uma pequena ou até mesmo de uma média ou grande empresa, pois os aplicativos desenvolvidos podem rodar perfeitamente numa rede de computadores e os dados armazenados pelo sistema podem ser publicados na Intranet ou até mesmo na Internet.

Características

Um dos benefícios do Access do ponto de vista do programador é sua relativa compatibilidade com o SQL – buscas podem ser visualizadas e editadas como sendo indicações de SQL, e estes por sua parte podem ser usados diretamente em Macros e Módulos VBA para manipular tabelas do próprio Access. Usuários podem misturar e usar ao mesmo tempo VBA e Macros para formulários de programação e lógica, além de serem oferecidos possibilidades com técnicas de orientação-objeto.
O escritor de relatórios do Access, mesmo sendo capaz da criação sofisticada de relatórios, não é tão potente quanto outro escritor de relatórios de dados – Crystal Reports. MSDE (Microsoft SQL Server Desktop Engine) 2000, a mini-versão do MS SQL Server 2000, é incluído com a edição de desenvolvedor do Office XP e pode ser usado ao lado do Access como uma alternativa ao Jet Database Engine.
Versões anteriores do MSDE e do Microsoft Exchange Server de fato usam o motor do Jet para lidar com volumes elevados de dados e inserir uma camada de aplicação "falsa" para as aplicações que se encontram acima dela. A falta de conhecimento à respeito deste fato têm contribuído à uma desmerecida falta de respeito quanto à família de produtos Access/Jet, particularmente quando se diz respeito a projetos de "grande porte".)
A função "cortar e colar"(cut and paste) do Access pode torná-lo uma ferramenta útil para a conexão entre diversos bancos de dados (por exemplo, entre o Oracle e o Microsoft SQL Server durante conversões de dados ou bancos de dados).
Access disponibiliza várias funções de exportação e importação (import and export), que permitem a integração entre o Windows e outras aplicações de plataforma, muitas das quais podem ser executadas dentro das próprias aplicações ou manualmente pelo usuário. Serve, como exemplo, o bastante compacto formato SNP para a compartilhação de relatórios perfeitamente formatados entre usuários que não dispõem de uma versão completa do Access.
Diferentemente dos RDBMS completos, o motor de banco de dados Jet da Microsoft não dispõe de gatilhos de bancos de dados e procedimentos armazenados (stored procedures).
A partir do MS Access 2000 (Jet 4.0), há um sintaxe que permite a criação de pedidos de busca com parâmetros, semelhante à criação de procedimentos armazenados, porém tais procedimentos são limitados à uma declaração por procedimento.
O Microsoft Access permite que formulários contenham códigos que são ativados à medida que mudanças são feitas à uma tabela subjacente (contanto que as modificações são feitas apenas com aquele formulário), e é comum usar buscas "pass-through" e utras técnicas no Access para ativar procedimentos armazenados em RDBMSs que suportam este tipo de sistema.
Em arquivos de projeto de banco de dados do Access ADP (suportado em MS Access 2000 e adiante), as ferramentas relacionadas aos bancos de dados são completamente diferentes, uma vez que este tipo de arquivo é conectado ao MSDE ou ao Microsoft SQL Server, ao invés de usar o motor Jet. Deste modo, ele suporta a criação de quase qualquer objeto no servidor subjacente (tabelas com restrições e gatilhos, visualizações, procedimentos armazenados e UDF's).
Contudo apenas formulários, relatórios, macros e módulos são armazenados no arquivo ADP (outros objetos são armazenados no banco de dados "back end").

Fonte: Oficina da Net

Criando um Backup no SQL Server 2005 - Parte 2


* Artigo do site iConnect.

O SQL Server oferece duas formas para a criação de backup: através do SQL Server Management Studio(SSMS) ou usando comandos Transact-SQL. Em ambos os casos, é possível criar todos os tipos de backups abordados acima.
Criando um backup através do SQL Server Management Studio (Maintenance Plain)

Para acessar as janelas de opções do Maintenance Plain se conecte ao servido, conforme mostra figura abaixo:

Expanda os nós do SSMS até o Maintenance Plain.

Clique com o botão direito em cima do nome Maintenance Plans e escolha a opção New Maintenance Plans.

Aparecerá a caixa de diálogo para que você especifique o nome do Plano de Manutenção.

Clique em Ok.
Aparecerá o painel de desenvolvimento do Plano de Manutenção.

Clique e arraste o componente Maintenance Cleannup Task para a parte amarela, conforme imagem:

Dê um duplo clique sobre o componente e a seguinte tela aparecerá:

No textbox Folder é o caminho de onde ficarão os arquivos de backups que serão deletados.
O checkBox permite a opção de excluir backups dentro de subpastas. E no File Age você pode escolher o tempo que os arquivos serão deletados, por defaulr são 4 semanas. Clique no botão com reticências ao lado do textbox folder e aparecerá uma nova janela, para escolher o caminhos de onde estarão os backups.


No nosso Server essa estrutura de pasta já estava criada, portanto, é opcional aonde serão colocados os arquivos de backup.
Obs: Nunca coloque arquivos de backup no C: do servidor, sempre deixe-os em discos separados em caso de falhas não haverá perda dos mesmos.
Clique Ok.
A nossa janela de Maintenance Cleannup Task deve ficar da seguinte maneira:

Clique em Ok.
Clique e arraste para o Painel o componente de backup.

Dê um duplo clique no componente.

Backup Type: Tipo do backup que será feito Full, Transactional ou Differential, como foi falado no inicio do documento.
DataBases: Quais databases serão backupeadas.
All Databases = Todas os banco de dados
System DataBases = Todos os Bancos de sistema
All User Databases = Todos os banco de dados de usuários, exceto tempdb, model, msdb e master. Conforme figura:


Escolha All User Databases e clique em ok.
Nossa tela de backup deverá ficar da seguinte maneira

Clique em Ok.
Clique na seta verde do componente Maintenance Cleannup Task e arraste para o Back Up Database Task, e os componentes ficarão da seguinte maneira:

Clique no calendário no canto superior direito do painel, pois, será hora de fazer o Schedule da rotina.

A seguinte janela aparecerá:

Occurs: Frequencia com que a atividade irá ser executada, no nosso caso será Daily
Daily frequency: Qual o horário que irá acontecer a rotina.

A nossa janela deve ficar da seguinte maneira:

Clique em Ok.
Clique em Salvar (ícone do disquete na parte superior da tela).

Feche o SQL Server.
Automaticamente será criado um Job no SQL Server Agent do servidor de banco de dados.

Backup através do Transact-SQL

Como foi visto anteriormente, podemos usar o SSMS para criar rotinas de backups de maneira intuitiva e visual, mas, existe ocasiões que precisamos apenas fazer um backup de um banco de dados. Ou no decorrer do dia tirar uma “foto” (ver Database Snapshot no final do documento) de um determinado banco de dados, quando estamos nessas situações é mais coveniente usar a linguagem T-SQL do Microsoft SQL Server, além de ser simples é mais rápido.
Criando um backup com T-SQL

Se conecte ao SQL Server:

Abra uma nova janela no SSMS e digite a seguinte linha de comando:
Syntax:
--Comando de Backup Full de banco de Dados
BACKUP DATABASE [BANCO DE DADOS]
TO DISK = N'CAMINHOARQUIVO.BAK' WITH INIT,
STATS = 10

Exemplo:
BACKUP DATABASE [TMKT]
TO DISK = N'D:TMKT.BAK' WITH INIT,
STATS = 10

Parametros:
INIT - Especifica que todos os conjuntos de backup devem ser substituídos, mas preserva o cabeçalho da mídia. Se INIT é especificado, nenhum conjunto de dados de backup existentes nesse dispositivo é substituído.

STATS [= percentage] - Exibe uma mensagem cada vez que uma percentagem concluída, e é usado para medir o progresso. Se o percentual for omitido, o SQL Server exibe uma mensagem após cada 10 por cento é concluída.
Obs: Existem outros parâmetros além dos dois citados acima, consulte o BOL (Books On Line) do SQL Server.


Fonte: Oficina da Net

 

Twitter Delicious Facebook Digg Stumbleupon Favorites More