KB2685743: o banco de dados do DQS_PROJECTS pode aumentar muito rapidamente quando você executa a atividade de descoberta ou a atividade de limpeza no SQL Server 2012 DQS

Sintomas

Quando você executa a atividade de descoberta ou a atividade de limpeza nos serviços de qualidade de dados (DQS) do SQL Server 2012, o banco de dados do DQS_PROJECTS pode aumentar muito rapidamente. As tabelas X_ transitórias no banco de dados do DQS_PROJECT especialmente rapidamente. Em particular, você pode enfrentar os seguintes problemas para a atividade de descoberta:

• O tamanho do arquivo de dados DQS_PROJECTS (MDF) pode ter cerca de 30 vezes o tamanho dos dados de origem. Esses dados transitórios serão excluídos quando a base de dados de conhecimento for publicada. A base de dados de conhecimento publicada será movida para o arquivo de dados DQS_MAIN (MDF) e poderá ter cerca de 5 vezes o tamanho dos dados de origem.

• O tamanho do LDF (log de transações do DQS_PROJECTS) aumenta com frequência.

Em particular, você pode enfrentar os seguintes problemas para a atividade de limpeza:

• O tamanho do arquivo de dados DQS_PROJECTS (MDF) pode ser cerca de 40 vezes o tamanho dos dados de origem.

• O tamanho do LDF (log de transações do DQS_PROJECTS) pode ser de cerca de 60 a 100 vezes o tamanho dos dados de origem.

Causa

Esse problema ocorre por um ou mais dos seguintes motivos:

• Linhas vazias e valores de coluna consomem espaço em tabelas transitórias. A maior parte do espaço é consumida por colunas BigInt para linhas e colunas vazias em tabelas que têm o nome X_INDEX_DATA_SOURCE_TABLE em cada esquema.

• Os dados transitórios armazenados em X_INDEX_DATA_SOURCE_TABLE tabelas internas não são lançados imediatamente quando o projeto é concluído ou a base de dados de conhecimento é publicada.

Resolução

Status

A Microsoft confirmou que este é um problema nos produtos Microsoft listados na seção "Aplicável a".

Solução alternativa

Para contornar esse problema, exclua projetos de dados desnecessários e bases de conhecimento no DQS para ajudar a minimizar a superfície das tabelas internas que são usadas pelos projetos. Depois de aplicar essa correção, o tamanho do banco de dados DQS_PROJECT não será reduzido automaticamente. Para obter mais informações sobre como reduzir o tamanho de um banco de dados, acesse o seguinte website da Microsoft:

Como reduzir um banco de dadosObservação Instalar esse hotfix sozinha não corrige os problemas de crescimento do banco de dados que ocorreram no passado, e só é útil para novos projetos e atividades que são criados no futuro, e projetos e atividades que são concluídos no futuro. Para reduzir manualmente o tamanho dos bancos de dados do DQS, examine as bases de conhecimento que não estão mais sendo usadas ou os projetos de qualidade de dados que já foram concluídos. Você pode usar o cliente de qualidade de dados e, em seguida, clicar em Abrir banco de dados de conhecimento ou em Abrir projeto de qualidade de dados para obter a lista de cada projeto ou base de dados de conhecimento. Clique com o botão direito do mouse no nome da base de dados de conhecimento ou no nome do projeto e clique em excluir. Você pode executar o seguinte script Transact-SQL para ajudar a estimar o tamanho de cada base de dados de conhecimento e cada projeto localizado nos bancos de dados do DQS_MAIN e do DQS_PROJECTS para avaliar melhor o espaço em disco que é consumido por cada um.

-- DQSSizes.sql-- Version 1 - Nov 7, 2011 -JH-- Loops over each table in DQS_MAIN and DQS_PROJECTS to enumerate rows counts + index page counts to estimate size-- Reports by KB, then reports a drill in by Table within each KB-- Count Rows per objectUSE DQS_MAINGOCREATE TABLE ##DQSRowCounts (ObjId BIGINT, DBName SYSNAME, SchemaName SYSNAME, TableName SYSNAME, RowCounts BIGINT);EXEC sp_msforeachtable 'INSERT INTO ##DQSRowCounts SELECT OBJECT_ID(''?''), ''DQS_MAIN'', OBJECT_SCHEMA_NAME(OBJECT_ID(''?'')), OBJECT_NAME(OBJECT_ID(''?'')), COUNT(*) FROM ? WITH (NOLOCK)';GOUSE DQS_PROJECTSGOEXEC sp_msforeachtable 'INSERT INTO ##DQSRowCounts SELECT OBJECT_ID(''?''), ''DQS_PROJECTS'', OBJECT_SCHEMA_NAME(OBJECT_ID(''?'')), OBJECT_NAME(OBJECT_ID(''?'')), COUNT(*) FROM ? WITH (NOLOCK)';-- count pages per object CREATE TABLE ##DQSsizes(DbId INT, objid BIGINT, PageCount INT)INSERT INTO ##DQSsizes SELECT DB_ID('DQS_MAIN'), object_id, SUM(PS.page_count)FROM sys.dm_db_index_physical_stats (DB_ID('DQS_MAIN'),NULL, NULL, NULL, NULL) PSGROUP BY object_idINSERT INTO ##DQSsizes SELECT DB_ID('DQS_PROJECTS'), object_id, SUM(PS.page_count)FROM sys.dm_db_index_physical_stats (DB_ID('DQS_PROJECTS'),NULL, NULL, NULL, NULL) PSGROUP BY object_idGO-- Rows and Size per KBSELECT RC.DBName, RC.SchemaName, KB.Name AS KBProject, SUM(RC.RowCounts) AS TotalRowsAcrossAllTables, SUM(S.PageCount)*8 AS EstimatedKBSizeinKiloBytes,KB.ORIGIN_KNOWLEDGEBASE, KB2.Name AS OriginKBName, KB.CREATED_BY, KB.CREATE_DATEFROM ##DQSsizes SJOIN ##DQSRowCounts RC ON S.DbId=DB_ID(RC.DBName) AND S.objid=RC.ObjIdLEFT OUTER JOIN DQS_MAIN.dbo.A_KNOWLEDGEBASE KB WITH (NOLOCK)ON RC.SchemaName  =  ( CASEWHEN (RC.SchemaName LIKE 'KnowledgeBase%') THEN 'KnowledgeBase'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'DQProject%') THEN 'DQProject'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'KnowledgeManagement%') THEN 'KnowledgeManagement'+CAST(KB.ID AS NVARCHAR)  END)LEFT OUTER JOIN DQS_MAIN.dbo.A_KNOWLEDGEBASE KB2 WITH (NOLOCK)ON KB.ORIGIN_KNOWLEDGEBASE=KB2.IDGROUP BY DBName, SchemaName, KB.Name, KB.ORIGIN_KNOWLEDGEBASE, KB2.Name, KB.CREATED_BY, KB.CREATE_DATEORDER BY DBName, SchemaName, KB.NameGO-- Rows and Size per Table per KBSELECT RC.DBName, RC.SchemaName, KB.Name AS KBProject, RC.TableName, RC.RowCounts, S.PageCount*8 AS EstKiloByteSizeFROM ##DQSsizes SLEFT OUTER JOIN  ##DQSRowCounts RC ON S.DbId=DB_ID(RC.DBName) AND S.objid=RC.ObjIdLEFT OUTER JOIN DQS_MAIN.dbo.A_KNOWLEDGEBASE KB WITH (NOLOCK)ON RC.SchemaName  =  ( CASEWHEN (RC.SchemaName LIKE 'KnowledgeBase%') THEN 'KnowledgeBase'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'DQProject%') THEN 'DQProject'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'KnowledgeManagement%') THEN 'KnowledgeManagement'+CAST(KB.ID AS NVARCHAR)  END)ORDER BY DBName, SchemaName, KBProject, TableNameGODROP TABLE ##DQSsizesDROP TABLE ##DQSRowCounts

Informações adicionais

Depois de instalar esse hotfix, quando o DQS criar a X_INDEX_DATA_SOURCE_TABLE de tabela interna dentro de cada esquema de projeto, a dica ESPARSA será usada nas colunas BigInt para minimizar o espaço usado por linhas e colunas vazias para minimizar o espaço em disco necessário para armazenar esses objetos. Esse hotfix permite ao DQS liberar o objeto transitório X_INDEX_DATA_SOURCE_TABLE. Portanto, o espaço pode ser reutilizado ou o tamanho do banco de dados pode ser reduzido após a publicação da base de dados de conhecimento ou o projeto de qualidade de dados terminar. Portanto, quando você clica no botão concluir no final dos projetos, você ajuda a liberar o espaço em disco que é consumido pela atividade.