KB2685743-FIX : la base de données DQS_PROJECTS risque d’augmenter très rapidement lorsque vous effectuez une activité de découverte ou une activité de nettoyage dans SQL Server 2012 DQS

Symptômes

Lorsque vous réalisez une activité de découverte ou une activité de nettoyage dans SQL Server 2012 Data Quality Services (DQS), la base de données DQS_PROJECTS risque d’augmenter de manière très rapide. Les tables X_ temporaires dans la base de données DQS_PROJECT en particulier. En particulier, il est possible que vous ayez rencontré les problèmes suivants concernant l’activité de découverte :

• La taille des fichiers de données de DQS_PROJECTS (MDF) est parfois d’environ 30 fois la taille des données sources. Ces données temporaires seront supprimées une fois la base de connaissances publiée. La base de connaissances publiée sera déplacée dans le fichier de données de DQS_MAIN (MDF) et il est possible que la taille des données sources soit supérieure à 5.

• La taille du journal des transactions de DQS_PROJECTS (LDF) s’étend fréquemment.

En particulier, vous pouvez rencontrer les problèmes suivants concernant l’activité de nettoyage :

• La taille des fichiers de données de DQS_PROJECTS (MDF) est susceptible d’être de 40 fois la taille des données sources.

• La taille du journal des transactions de DQS_PROJECTS (LDF) est de 60 à 100 fois la taille des données sources.

Cause

Ce problème survient pour une ou plusieurs des raisons suivantes :

• Les valeurs des lignes et des colonnes vides utilisent de l’espace dans les tables temporaires. La plupart des espaces sont consommés par des colonnes BigInt pour les lignes et colonnes vides dans les tableaux qui présentent le nom X_INDEX_DATA_SOURCE_TABLE dans chaque schéma.

• Les données temporaires stockées dans X_INDEX_DATA_SOURCE_TABLE des tables internes ne sont pas immédiatement publiées lorsque le projet est terminé ou qu’une base de connaissances est publiée.

Résolution

Statut

Microsoft a confirmé l'existence de ce problème dans les produits Microsoft figurant dans la liste des produits concernés par cet article.

Solution de contournement

Pour contourner ce problème, supprimez des projets de données inutiles et des bases de connaissances dans DQS pour réduire l’encombrement des tables internes utilisées par les projets. Après avoir appliqué ce correctif, la taille de la DQS_PROJECT de la base de données ne diminue pas automatiquement. Pour plus d’informations sur la façon de réduire la taille d’une base de données, consultez le site Web de Microsoft suivant :

Réduction d’une base de donnéesRemarque L’installation de ce correctif seul ne résout pas les problèmes liés à la croissance de la base de données qui se sont produits dans le passé, et n’est utile que pour les nouveaux projets et activités qui sont créés à l’avenir, ainsi que les projets et les activités qui sont achevés. Pour réduire la taille de la base de données de la valeur de base de données DQS, consultez les bases de connaissances qui ne sont plus utilisées ou les projets de qualité des données déjà terminés. Vous pouvez utiliser le client de qualité des données, puis cliquez sur ouvrir la base de connaissances ou ouvrez le projet de qualité des données pour obtenir la liste de chaque base de connaissances ou de chaque projet. Cliquez avec le bouton droit sur le nom de la base de connaissances ou le nom du projet, puis cliquez sur supprimer. Vous pouvez exécuter le script Transact-SQL suivant pour estimer la taille de chaque base de connaissances et chaque projet se trouvant dans le DQS_MAIN et DQS_PROJECTS bases de données pour mieux évaluer l’espace disque consommé par chaque base.

-- DQSSizes.sql-- Version 1 - Nov 7, 2011 -JH-- Loops over each table in DQS_MAIN and DQS_PROJECTS to enumerate rows counts + index page counts to estimate size-- Reports by KB, then reports a drill in by Table within each KB-- Count Rows per objectUSE DQS_MAINGOCREATE TABLE ##DQSRowCounts (ObjId BIGINT, DBName SYSNAME, SchemaName SYSNAME, TableName SYSNAME, RowCounts BIGINT);EXEC sp_msforeachtable 'INSERT INTO ##DQSRowCounts SELECT OBJECT_ID(''?''), ''DQS_MAIN'', OBJECT_SCHEMA_NAME(OBJECT_ID(''?'')), OBJECT_NAME(OBJECT_ID(''?'')), COUNT(*) FROM ? WITH (NOLOCK)';GOUSE DQS_PROJECTSGOEXEC sp_msforeachtable 'INSERT INTO ##DQSRowCounts SELECT OBJECT_ID(''?''), ''DQS_PROJECTS'', OBJECT_SCHEMA_NAME(OBJECT_ID(''?'')), OBJECT_NAME(OBJECT_ID(''?'')), COUNT(*) FROM ? WITH (NOLOCK)';-- count pages per object CREATE TABLE ##DQSsizes(DbId INT, objid BIGINT, PageCount INT)INSERT INTO ##DQSsizes SELECT DB_ID('DQS_MAIN'), object_id, SUM(PS.page_count)FROM sys.dm_db_index_physical_stats (DB_ID('DQS_MAIN'),NULL, NULL, NULL, NULL) PSGROUP BY object_idINSERT INTO ##DQSsizes SELECT DB_ID('DQS_PROJECTS'), object_id, SUM(PS.page_count)FROM sys.dm_db_index_physical_stats (DB_ID('DQS_PROJECTS'),NULL, NULL, NULL, NULL) PSGROUP BY object_idGO-- Rows and Size per KBSELECT RC.DBName, RC.SchemaName, KB.Name AS KBProject, SUM(RC.RowCounts) AS TotalRowsAcrossAllTables, SUM(S.PageCount)*8 AS EstimatedKBSizeinKiloBytes,KB.ORIGIN_KNOWLEDGEBASE, KB2.Name AS OriginKBName, KB.CREATED_BY, KB.CREATE_DATEFROM ##DQSsizes SJOIN ##DQSRowCounts RC ON S.DbId=DB_ID(RC.DBName) AND S.objid=RC.ObjIdLEFT OUTER JOIN DQS_MAIN.dbo.A_KNOWLEDGEBASE KB WITH (NOLOCK)ON RC.SchemaName  =  ( CASEWHEN (RC.SchemaName LIKE 'KnowledgeBase%') THEN 'KnowledgeBase'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'DQProject%') THEN 'DQProject'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'KnowledgeManagement%') THEN 'KnowledgeManagement'+CAST(KB.ID AS NVARCHAR)  END)LEFT OUTER JOIN DQS_MAIN.dbo.A_KNOWLEDGEBASE KB2 WITH (NOLOCK)ON KB.ORIGIN_KNOWLEDGEBASE=KB2.IDGROUP BY DBName, SchemaName, KB.Name, KB.ORIGIN_KNOWLEDGEBASE, KB2.Name, KB.CREATED_BY, KB.CREATE_DATEORDER BY DBName, SchemaName, KB.NameGO-- Rows and Size per Table per KBSELECT RC.DBName, RC.SchemaName, KB.Name AS KBProject, RC.TableName, RC.RowCounts, S.PageCount*8 AS EstKiloByteSizeFROM ##DQSsizes SLEFT OUTER JOIN  ##DQSRowCounts RC ON S.DbId=DB_ID(RC.DBName) AND S.objid=RC.ObjIdLEFT OUTER JOIN DQS_MAIN.dbo.A_KNOWLEDGEBASE KB WITH (NOLOCK)ON RC.SchemaName  =  ( CASEWHEN (RC.SchemaName LIKE 'KnowledgeBase%') THEN 'KnowledgeBase'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'DQProject%') THEN 'DQProject'+CAST(KB.ID AS NVARCHAR)WHEN (RC.SchemaName LIKE 'KnowledgeManagement%') THEN 'KnowledgeManagement'+CAST(KB.ID AS NVARCHAR)  END)ORDER BY DBName, SchemaName, KBProject, TableNameGODROP TABLE ##DQSsizesDROP TABLE ##DQSRowCounts

Informations supplémentaires

Après avoir installé ce correctif, lorsque DQS crée la table interne X_INDEX_DATA_SOURCE_TABLE dans le schéma de chaque projet, la directive CLAIRSEMÉ est utilisée dans les colonnes BigInt pour réduire l’espace utilisé par les lignes et colonnes vides afin de réduire l’espace disque nécessaire à la conservation de ces objets. Ce correctif permet à DQS de publier l’objet X_INDEX_DATA_SOURCE_TABLE passager. Par conséquent, l’espace peut être réutilisé ou la taille de la base de données peut être réduite après la publication de la base de connaissances ou du projet de qualité des données. Par conséquent, lorsque vous cliquez sur le bouton Terminer à la fin des projets, vous pouvez libérer de l’espace sur le disque qui est consommé par l’activité.