KB2685743 — FIX: база данных DQS_PROJECTS может быстро увеличиваться при выполнении действия по обнаружению или очистке в SQL Server 2012 DQS

Проблемы

При выполнении действия по обнаружению или очистке в SQL Server 2012 Data Quality Services (DQS) база данных DQS_PROJECTS может увеличиваться очень быстро. Временные X_ные таблицы в базе данных DQS_PROJECT особенно быстро. В частности, в действии обнаружения могут возникать указанные ниже проблемы.

• Размер файла данных DQS_PROJECTS (MDF) может составлять около 30 значений размера исходных данных. Эти временные данные будут удалены при публикации базы знаний. Опубликованная база знаний будет перенесена в файл данных DQS_MAIN (MDF) и может составлять 5 побольше размера исходных данных.

• Размер журнала транзакций на DQS_PROJECTSе (LDF) часто растет.

В частности, для действия Очистка могут возникать следующие проблемы:

• Размер файла данных DQS_PROJECTS (MDF) может составлять около 40 значений размера исходных данных.

• Размер журнала транзакций DQS_PROJECTS (LDF) может составлять от 60 до 100 и больше размера исходных данных.

Причина

Эта проблема возникает по одной из указанных ниже причин.

• Пустые строки и значения столбцов занимают место в временных таблицах. Наибольшее пространство потребляется столбцами BigInt для пустых строк и столбцов в таблицах с именем X_INDEX_DATA_SOURCE_TABLE в каждой схеме.

• Временные данные, которые хранятся в X_INDEX_DATA_SOURCE_TABLE внутренних таблицах, не выпускаются сразу после завершения проекта или публикации базы знаний.

Решение

Статус

Корпорация Майкрософт подтверждает наличие этой проблемы в своих продуктах, которые перечислены в разделе "Применяется к".

Обходное решение

Для устранения этой проблемы удалите ненужные проекты данных и базы знаний в службах DQS, чтобы свести к минимуму объем внутренних таблиц, используемых проектами. После применения этого исправления размер базы данных DQS_PROJECT не будет уменьшаться автоматически. Дополнительные сведения о том, как уменьшить размер базы данных, можно найти на веб-сайте корпорации Майкрософт по следующему адресу:

Сжатие базы данныхПримечание. Установка этого исправления не позволяет устранить проблемы роста базы данных, которые произошли в прошлом, и только для новых проектов и действий, которые созданы в будущем, а также проектов и действий, которые будут завершены в будущем. Чтобы вручную уменьшить размер баз данных DQS, изучите базовые базы знаний, которые больше не используются, или проекты качества данных, которые уже завершены. Вы можете использовать клиент качества данных, а затем щелкнуть открыть базу знаний или Открыть проект качества данных , чтобы получить список всех баз знаний или проектов. Щелкните правой кнопкой мыши имя базы знаний или название проекта, а затем выберите команду Удалить. Вы можете выполнить следующий сценарий Transact-SQL, который поможет оценить размер каждой базы знаний и каждый проект, расположенный в базах данных DQS_MAIN и DQS_PROJECTS, чтобы лучше оценить пространство на диске, которое потребляет каждый из них.

-- DQSSizes.sql-- Version 1 - Nov 7, 2011 -JH-- Loops over each table in DQS_MAIN and DQS_PROJECTS to enumerate rows counts + index page counts to estimate size-- Reports by KB, then reports a drill in by Table within each KB-- Count Rows per objectUSE DQS_MAINGOCREATE TABLE ##DQSRowCounts (ObjId BIGINT, DBName SYSNAME, SchemaName SYSNAME, TableName SYSNAME, RowCounts BIGINT);EXEC sp_msforeachtable 'INSERT INTO ##DQSRowCounts SELECT OBJECT_ID(''?''), ''DQS_MAIN'', OBJECT_SCHEMA_NAME(OBJECT_ID(''?'')), OBJECT_NAME(OBJECT_ID(''?'')), COUNT(*) FROM ? WITH (NOLOCK)';GOUSE DQS_PROJECTSGOEXEC sp_msforeachtable 'INSERT INTO ##DQSRowCounts SELECT OBJECT_ID(''?''), ''DQS_PROJECTS'', OBJECT_SCHEMA_NAME(OBJECT_ID(''?'')), OBJECT_NAME(OBJECT_ID(''?'')), COUNT(*) FROM ? WITH (NOLOCK)';-- count pages per object CREATE TABLE ##DQSsizes(DbId INT, objid BIGINT, PageCount INT)INSERT INTO ##DQSsizes SELECT DB_ID('DQS_MAIN'), object_id, SUM(PS.page_count)FROM sys.dm_db_index_physical_stats (DB_ID('DQS_MAIN'),NULL, NULL, NULL, NULL) PSGROUP BY object_idINSERT INTO ##DQSsizes SELECT DB_ID('DQS_PROJECTS'), object_id, SUM(PS.page_count)FROM sys.dm_db_index_physical_stats (DB_ID('DQS_PROJECTS'),NULL, NULL, NULL, NULL) PSGROUP BY object_idGO-- Rows and Size per KBSELECT RC.DBName, RC.SchemaName, KB.Name AS KBProject, SUM(RC.RowCounts) AS TotalRowsAcrossAllTables, SUM(S.PageCount)*8 AS EstimatedKBSizeinKiloBytes,KB.ORIGIN_KNOWLEDGEBASE, KB2.Name AS OriginKBName, KB.CREATED_BY, KB.CREATE_DATEFROM ##DQSsizes SJOIN ##DQSRowCounts RC ON S.DbId=DB_ID(RC.DBName) AND S.objid=RC.ObjIdLEFT OUTER JOIN DQS_MAIN.dbo.A_KNOWLEDGEBASE KB WITH (NOLOCK)ON RC.SchemaName  =  ( CASEWHEN (RC.SchemaName LIKE 'KnowledgeBase%') THEN 'KnowledgeBase'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'DQProject%') THEN 'DQProject'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'KnowledgeManagement%') THEN 'KnowledgeManagement'+CAST(KB.ID AS NVARCHAR)  END)LEFT OUTER JOIN DQS_MAIN.dbo.A_KNOWLEDGEBASE KB2 WITH (NOLOCK)ON KB.ORIGIN_KNOWLEDGEBASE=KB2.IDGROUP BY DBName, SchemaName, KB.Name, KB.ORIGIN_KNOWLEDGEBASE, KB2.Name, KB.CREATED_BY, KB.CREATE_DATEORDER BY DBName, SchemaName, KB.NameGO-- Rows and Size per Table per KBSELECT RC.DBName, RC.SchemaName, KB.Name AS KBProject, RC.TableName, RC.RowCounts, S.PageCount*8 AS EstKiloByteSizeFROM ##DQSsizes SLEFT OUTER JOIN  ##DQSRowCounts RC ON S.DbId=DB_ID(RC.DBName) AND S.objid=RC.ObjIdLEFT OUTER JOIN DQS_MAIN.dbo.A_KNOWLEDGEBASE KB WITH (NOLOCK)ON RC.SchemaName  =  ( CASEWHEN (RC.SchemaName LIKE 'KnowledgeBase%') THEN 'KnowledgeBase'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'DQProject%') THEN 'DQProject'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'KnowledgeManagement%') THEN 'KnowledgeManagement'+CAST(KB.ID AS NVARCHAR)  END)ORDER BY DBName, SchemaName, KBProject, TableNameGODROP TABLE ##DQSsizesDROP TABLE ##DQSRowCounts

Дополнительная информация

После установки этого исправления после того как приложение DQS создаст внутреннюю таблицу X_INDEX_DATA_SOURCE_TABLE в схеме каждого проекта, в столбцах BigInt используется подсказка SPARSE для минимизации пространства, используемого пустыми строками и столбцами, для минимизации места на диске, необходимого для размещения этих объектов. Это исправление позволяет службам DQS освобождать временный объект X_INDEX_DATA_SOURCE_TABLE. Таким образом, возможно повторное использование пространства или размер базы данных может быть уменьшен после публикации базы знаний или завершения проекта качества данных. Таким образом, при нажатии кнопки "Готово" в конце проекта вы можете освободить место на диске, используемое этим действием.