Integración de datos de hojas de cálculo de SharePoint en Azure SQL Database con Blob Storage mediante ADF

Las empresas suelen depender de recursos en una amplia gama de herramientas y herramientas para gestionar y utilizar sus datos de forma eficiente. La gestión de documentos y la colaboración en equipo son dos usos comunes de SharePoint, la potente herramienta de colaboración de Microsoft. Recuperamos datos de hojas de cálculo de SharePoint y los almacenamos en bases de datos SQL, al mismo tiempo que movemos archivos de su carpeta original a una carpeta de archivo. Por el contrario, la solución de base de datos relacional basada en la nube proporcionada por Azure SQL Database es completamente administrada y escalable. El almacenamiento de blobs y el ADF juntos pueden simplificar y agilizar eficazmente el proceso de integración de datos de SharePoint en su base de datos. Esta publicación de blog explicará cómo usar ADF Pipelines y Blob Storage para fusionar datos de hojas de cálculo de Microsoft Excel en una base de datos SQL de Azure. A través de esta conectividad, las empresas pueden combinar y examinar datos de SharePoint dentro de Azure SQL Database, mejorando la información sobre los datos y simplificando las prácticas de administración de datos. Resumen Entonces, sin más interrupciones, ¡comencemos! Paso 1: Registre una aplicación en Microsoft Identity Platform Para realizar la solicitud en línea a través de Microsoft Identity Platform, debe seguir los pasos que se detallan a continuación: 1.1 Inicie sesión en Microsoft Admin Center. 1.2 Vaya a Grabaciones de aplicaciones en Aplicaciones. 1.3 Seleccione Nuevo registro y Agregar nuevo nombre de aplicación, por ejemplo TestSharePoint 1.4 Seleccione Registrar y copie la información de la aplicación creada a continuación 1.4.1 ID de aplicación (Cliente) 1.4.2 ID de directorio (Inquilino) 1.5 Seleccione Certificados y secretos. 1.6 Crear un nuevo secreto de cliente 1.7 Copie el valor como secreto de cliente. 1.8 Seleccione Descripción general y seleccione Nombre del inquilino. Nota: Si ya tiene un sitio en su dominio de SharePoint, no necesita crear otro. Sin embargo, si está configurando su primer sitio de SharePoint, haga clic aquí y siga los pasos proporcionados. Además, asegúrese de que el usuario tenga privilegios de administrador del sitio. Paso 2: Conceder permiso del sitio de SharePoint Online a la aplicación registrada. El conector de SharePoint List Online utiliza la autenticación de entidad de servicio para conectarse a SharePoint. Siga estos pasos para configurarlo: Enlace de referencia 2.1 Conceda permiso del sitio de SharePoint Online a la aplicación registrada siguiendo los pasos a continuación. Para hacer esto, necesita una función de administrador del sitio. 2.1.1 Abra el enlace al sitio de SharePoint Online Ej: https://[your_site_url]/_layouts/15/appinv.aspx (reemplace la URL del sitio). Pero en este caso la URL de nuestro sitio es la siguiente: Por ejemplo: https://[sharepoint-domain-name].sharepoint.com/sites/[sharepoint-site]/SitePages/_layouts/15/appinv.aspx 2.1.2 Agregar detalles. Nota: Necesitamos copiar los datos y también mover el archivo a otra carpeta, por lo que para obtener el permiso de la aplicación debemos agregar el derecho como Control total. 2.1.3 Haga clic en «Confiar» para esta aplicación. 2.2 Configuración del sitio regional. Los datos deben obtenerse a través de Pipeline. Necesitamos establecer una zona horaria respecto a UTC para que se pueda actualizar o producir según la hora cada quince minutos. Paso 3: crear una canalización en Azure Data Factory. Se crearon dos canalizaciones para agregar datos del archivo de SharePoint a la tabla de Azure SQL Database. Pl_sync_sharepoint_sheets Pl_manage_sheet Aquí se crea una canalización para almacenar los datos de la hoja de cálculo llamada CostPrice.xlsx y OrderChecks.xlsx. 3.1 Cree una hoja de cálculo en el sitio con el nombre: CostPrice.xlsx 3.2 Cree el nombre de canalización Pl_SharePointTrigger en ADF 3.2.1 Cree una tarea web para obtener el formulario del token de acceso de SharePoint. URL: https://accounts.accesscontrol.windows.net/[Tenant-ID]/tokens/OAuth/2 (Agregue el ID de inquilino en [Tenant-ID] que ya hemos copiado.) Método: POST Encabezados: Tipo de contenido: aplicación/x-www-form-urlencoded Cuerpo: Grant_type=client_credentials&client_id=[Client-ID]@[Tenant-ID]&cliente_secreto=[Client-Secret]&recurso=00000003-0000-0ff1-ce00-000000000000/[Tenant-Name]@sharepoint.com[Tenant-ID] (Aquí reemplace ApplicationId en [Client-ID]ID de inquilino en [Tenant-ID]Secretos del cliente en[Client-Secret] y a nombre del inquilino [Tenant-Name]) 3.2.2 Éxitos de la tarea del token de acceso Cree una tarea web para obtener la lista de todos los archivos de la carpeta SharePoint. URL: https://[sharepoint-domain].sharepoint.com/sites/[site-name]/_api/web/GetFolderByServerRelativeUrl(‘/sitios/[site-Name]/Shared%20Documents/Data%20and%20Insights/BI/Azure%20FileShare%20Data/Cost%20Price’)/Files Encabezado: Permiso: @concat(‘Bearer’, Activity(‘generate_access_token’).output.access_token) Aceptar: application/json;odata=verbose 3.2.3 Sobre los éxitos de la actividad web Se agregó la actividad de ejecución de canalización. (Aquí, para los controles de pedidos, cree una actividad web paralela). InvockedPipeline: pl_manage_Sheet Parámetro: Resultado: @activity(‘we_fetch_cost_price_sheet’).output.d.results Nombre de la carpeta: Cost%20Price AccessToken: @concat(‘Bearer’, Activity(‘generate_access_token ) ‘).output.access_token) 3.3 Creado Pl_manage_sheet con parámetros. Resultados (matriz): Nombre de carpeta (cadena): AccessToken (cadena): Elemento: @pipeline().parameters.Results IN FOREACHCreated Copy Activity. Primero, copiemos el archivo a Azure Blob Storage desde la carpeta de SharePoint. Seleccione el conjunto de datos de origen como http con binario. ABRIR CONJUNTO DE DATOS HTTP Agregar URL base: https://[domain-name].sharepoint.com/ Tipo de autenticación: Anónimo 1. Agregue la hoja de parámetrosRelativeurl (cadena): valor predeterminado si desea establecer la ruta del archivo, por ejemplo: ‘/sites/[sharepoint-site]/Shared%20Documents/CostPrice.xlsx’ 2. Agregue la URL relativa @concat(‘/sites/ [sharepoint-site] /_api/web/GetFileByServerRelativeUrl(‘,dataset().SheetRelativeUrl,’)/$value’) 3. Agregue las propiedades del conjunto de datos: SheetRelativePath: @concat(string(»»), item().ServerRelativeUrl ,string( ‘ »’)) 4. Método de solicitud: GET 5. Encabezados adicionales: @{concat(‘Authorization: Bearer’, Activity(GetAccessToken).output.access_token)} 3.4 Haga clic en Sink Dataset: 3.4. Binario. 3.4.2 Agregar servicio Blob Link: Agregar ruta de archivo. 3.4.3 Abrir conjunto de datos Agregar parámetro: Nombre de archivo (cadena): Agregar valor 3.4.4 Agregar propiedades del conjunto de datos receptor 3.5 Crear BLOB de datos de actividad de bloque de hoja de cálculo. 3.5.1 Agregar tareas de búsqueda. 3.5.2 Agregar un nuevo conjunto de datos de Azure Blob Storage con Excel. 3.5.3 Agregar ruta de archivo 3.5.4 Abra el conjunto de datos de Excel y establezca dos parámetros Nombre de archivo (cadena): Establezca la conexión: Nombre de archivo: Agregue el nombre de la carpeta con @dataset(). Nombre de archivo Primera fila como encabezado: marcado. Establezca el nombre del archivo del conjunto de datos de búsqueda: @item().Name 3.5.5 Cuando se complete la búsqueda Agregar condición Si En condición expresión de actividad: @contains(actividad(‘lp_retrieve_file_from_blob’).output,’value’) Si la condición es verdadera: Agregar tienda Procedimiento con el servicio de conexión de base de datos Azure SQL: seleccione Almacenar Nombre del procedimiento: @if(equals(pipeline().parameters.FolderName, ‘Cost%20Price’), ‘[db_Etl].[SP_InsertOrUpdateCostPrice]’,'[db_Etl].[SP_InsertOrUpdateOrderChecks]’) Agregue PeraMeter, por ejemplo: Json (String): @string(activity(‘lp_retrieve_file_from_blob’).output.value) 3.6 Si la siguiente actividad se realiza correctamente, configure la actividad web para mover el archivo a la carpeta URL del archivo: @concat( ‘https:// [sharepoint-domain-name].sharepoint.com/sites/[sharepoint-site]/_api/web/getFileByServerRelativeUrl(‘,concat(string(»»),item().ServerRelativeUrl,string(»»)),’)/moveTo(newurl=»,concat(«», ‘/sitios/ [sharepoint-site] /Shared%20Documents/Data%20and%20Insights/BI/Azure%20FileShare%20Data/’, pipeline().parameters.FolderName,’/Archive/’, substring(item().Name, 0, indexOf(item() ) .name, ‘.’)), ‘_’),formatDateTime(utcNow(), ‘yyyy-MM-dd’),’.xlsx»,flags=1)’) Método: Encabezados de publicaciones: Permiso: @ pipeline ().parameters.AccessToken Acepta: aplicación/json; odata=detallado Tipo de contenido: aplicación/json; odata=verbose 3.7 Tras el éxito de la tarea de movimiento de archivos Crear tarea de eliminación Esta acción elimina un archivo copiado de SharePoint a Azure Blob Storage. Seleccione el conjunto de datos BLOB de Excel. Y agregue propiedades del conjunto de datos Nombre de archivo: @item().Name Conclusión Un método eficaz y potente para integrar datos de hojas de cálculo de SharePoint en Azure SQL Database implica el uso de ADF con Blob Storage. Esta integración permite a las organizaciones mejorar la accesibilidad a los datos, optimizar los flujos de trabajo de datos y fortalecer las capacidades analíticas dentro de Azure SQL Database a través de procesos automatizados. Al aprovechar estas tecnologías, las empresas pueden mejorar sus procesos de toma de decisiones basados ​​en datos, obteniendo mayor flexibilidad y capacidad de ampliación en la gestión y el uso de sus activos de datos. Este enfoque facilita la transferencia y transformación de datos sin problemas, lo que permite a las empresas aprovechar los datos de SharePoint de manera efectiva dentro del sólido entorno de base de datos SQL de Azure. Para una integración perfecta y una gestión eficiente de sus activos de datos, considere aprovechar la experiencia de una empresa de subcontratación de TI. Contrate los servicios de clase mundial de The One Technologies para optimizar sus procesos de datos e impulsar el crecimiento empresarial. La gente también pregunta: ¿Cómo puedo integrar los datos de mi hoja de cálculo de SharePoint en Azure SQL Database mediante el almacenamiento Blob y ADF? El uso de ADF para administrar el movimiento de datos puede ayudarle a integrar datos de una hoja de cálculo de SharePoint en una base de datos SQL de Azure. Al utilizar los conectores de SharePoint Online en ADF, primero exporte sus datos de SharePoint a Azure Blob Storage. A continuación, inserte estos datos en Azure SQL Database. ¿Cuáles son los beneficios de integrar datos de SharePoint en Azure SQL Database con Blob Storage? La escalabilidad dentro del entorno de nube de Azure, el almacenamiento de datos centralizado, la accesibilidad mejorada a los datos y el análisis fluido son posibles gracias a la integración de datos de SharePoint en Azure SQL Database con almacenamiento BLOB. ¿Necesito permisos o roles específicos para ejecutar esta integración? Sí, tanto en el sistema SharePoint como en Azure necesitarás los permisos necesarios. Asegúrese de tener los derechos necesarios en Azure Blob Storage y Azure SQL Database, así como acceso a los datos de SharePoint, para realizar operaciones de integración de datos. ¿Cómo puede esta integración mejorar mis capacidades de análisis y gestión de datos? Puede aprovechar las herramientas y servicios de análisis avanzados de Azure para extraer información de los datos de SharePoint integrándolos con Azure SQL Database. Esta integración mejora las capacidades analíticas y simplifica los procedimientos de gestión de datos. ¿Qué pasos se requieren para configurar la integración de SharePoint con Azure SQL Database mediante Azure Data Factory? Los pasos habituales son configurar Azure Blob Storage como ubicación de almacenamiento intermedia, configurar SharePoint Online como origen de datos en Azure Data Factory y luego usar canalizaciones ADF para cargar los datos en una base de datos SQL de Azure. Acerca del autor Jenil Shingala es actualmente ingeniero de software asociado (.NET) en The One Technologies, puesto que ocupa desde que comenzó su trayectoria en TI en enero de 2023 como aprendiz de software. A lo largo de su carrera, ha demostrado un compromiso con el crecimiento y el desarrollo, aprendiendo constantemente nuevas habilidades y buscando orientación de mentores y colegas de alto nivel. Su objetivo profesional futuro es ascender a un rol de liderazgo en el campo de la ingeniería de software, aspirando a ser una figura respetada que impulse la innovación e impacte positivamente en proyectos y equipos.

About Francisco

Check Also

Libro electrónico: Una guía práctica para construir una estrategia de datos e IA

Libro electrónico: Una guía práctica para crear una estrategia de datos e inteligencia artificial | …

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *