Processo Migração de Dados

De Gennera Wiki
Revisão de 16h52min de 23 de julho de 2018 por Rodrigobranas (discussão | contribs)
Ir para: navegação, pesquisa

O processo de migração de dados é executado em 4 fases:

Etapas

  • Definição de uma estrutura padrão para o arquivo de transferência (equipe Gennera)
  • Análise do banco de dados atual para a localização dos dados necessários (equipe do cliente)
  • Geração de arquivos de texto com os dados do sistema atual, obedecendo ao layout fornecido (equipe do cliente)
  • Carga dos dados no banco relacional do Academic One a partir dos registros existentes no arquivo de texto (Equipe Gennera)

De todas as atividades do processo de implantação, a fase de migração dos dados é a que exige mais cuidado em sua execução. Normalmente os usuários finais da instituição de ensino não possuem conhecimentos técnicos necessários para a criação dos arquivos de transferência de dados, embora dominem o sistema sob os aspectos de regras de negócio e aplicabilidade nos processos cotidianos. Eles também desconhecem a estrutura interna do plataforma.

Ainda que a instituição de ensino possa contar com um recurso que possua os conhecimentos técnicos em informática, ele dificilmente conhecerá a estrutura interna do sistema. Nem sempre este técnico conhece o sistema com a visão do usuário final, focado nos processos.

Já os técnicos do Academic One, embora especialistas em informática e conhecedores da estrutura do produto, via de regra não conhecem o sistema que a instituição de ensino utiliza e nem sua estrutura de dados.

Considerando o exposto podemos afirmar que, para que tenha sucesso, esta atividade deve ser executada “a quatro mãos”, com o envolvimento do cliente e da equipe do Academic One.

Mesmo que em determinados momentos com envolvimento parcial, os 3 principais recursos são: técnico do Academic One, técnico da instituição de ensino e o usuário final.

Tipos de Dados

Separador de campos: TAB Encoding: UTF-8

Importante: É necessário incluir o nome das colunas em forma de cabeçalho.

A seguir estão descritos os layouts dos arquivos de textos que devem ser gerados.

Algumas observações devem ser consideradas:

  • Devem ser criados tantos registros no arquivo de texto quantos forem os registros existentes na base de dados atual, considerando os filtros de seleção já definidos entre os gestores da instituição de ensino e da implantação.
  • Os campos indicados como obrigatórios devem possuir valor para todos os registros.
  • Os campos que são opcionais podem não ter valor, mas eles devem constar em todos os registros sob a forma de valores nulos (vazios), separados pelo caractere separador definido (TAB). Dessa forma, todos os registros terão a mesma quantidade de separadores.
  • Os valores numéricos: O caractere ponto (“.”) deve separar a parte inteira da fração decimal. Não deve haver separadores de milhares.

Por exemplo:

  • 1234 → Valor válido
  • 12.34→ Valor válido
  • 12345.67→ Valor válido
  • 12345,67→ Valor inválido
  • 12.345,67→ Valor inválido
  • 1,234.56→ Valor inválido

Formato das datas: Todas as datas devem estar no formato DD/MM/AAAA.

Alguns sistemas permitem a criação e armazenamento de dados sem a obediência de seu formato. Por exemplo, algumas datas podem ser armazenadas com o conteúdo ‘99/99/9999’, apesar de não ser uma data válida. Como o sistema está baseado em um banco relacional e implementou em sua estrutura algumas integridades de domínio, valores do como os do exemplo anterior não poderão ser carregados. Caberá ao técnico que fizer a geração dos arquivos de texto a responsabilidade por determinar, junto ao usuário, quais os valores válidos devem ser usados em substituição àqueles que não puderem ser inseridos por ferir tais integridades. As ocorrências mais graves de falta de integridade ocorrem nos campos de formato data.

Arquivos de Importação

Alunos

Dados completos dos alunos cadastrados na instituição de ensino.

Nome do Arquivo: Aluno.csv

Filtro: Todos os registros existentes

Obrigatório:Sim

Aluno        
  Coluna Descrição Exemplo Tam/Form Obrig Referência
  id_student Código ÚNICO que identifica o aluno na instituição de ensino 001, 002, 003, etc integer Sim  
id_code Número de matricula do aluno, usado no sistema legado.

Também dese se usado obrigatoriamente o arquivo de foto de cada aluno.

REF2018000001, 1813023354,

SMB2015010149, etc


integer Sim
  name Nome do aluno (pode possuir abreviações) João C. Lima, Ana Maria S. Cruz, etc. text Sim  
  full_name Nome completo do aluno (sem abreviações) João Carlos Lima, Ana Maria Soares Cruz, etc.  text Sim   
email Email do aluno aluno@yahoo.com.br text  
  zipcode CEP 88122420 (somente números) text Sim
  street Logradouro da residência do aluno R. Floriano, R. Direita, etc. text Sim
street_number Número de localização da residência no logradouro. 123, 44, etc text Sim valor default S/N
  city Nome da Cidade da residência do aluno São Paulo text Sim
  state Sigla da UF residencial SP varchar(2) Sim
country Nome do País Brasil text Sim
  complement Complemento do logradouro (Número da casa, apartamento, bloco, etc). Edifício Gennera - apto 201; bloco A, apto 44; etc text    
  neighborhood Bairro da residência do aluno Centro text    
zone Indica a zona residencial Urbana ou Rural text Sim


  birthdate Data de nascimento do aluno 31/01/1990 date Sim  
  birthplace Nome da cidade de nascimento do aluno São Paulo, Santos, Niterói, Itabirito, etc. text    
  birth_state UF de nascimento do aluno SC, SP, RJ, MG. varchar(2)    
  nationality Nacionalidade do aluno Brasileira, Chilena, Argentina, etc. text    
  gender Sexo do aluno Masculino, Feminino,

Outros

text Sim  
ethnicity Cor/raça do aluno conforme classificação do MEC Indígena

Amarela

Parda

Não Declarada

Preta

Branca

text


  rg Número da carteira de Identidade (RG) do aluno 12345678 (somente números) text    
  rg_issuing_agency Código do órgão expedidor da carteira de identidade SSP, MEx, CREA, OAB, DPF, etc. text    
  rg_issuing_state UF do órgão expedidor da carteira de identidade SC, SP, RJ, MG. varchar(2)    
  rg_issue_date Data de Expedição da carteira de identidade 31/01/1999  date    
social_id Número de Identificação Social 123456 text
  cpf Número do CPF do aluno 20919195600 (somente números)  text    
  civil_status Estado civil do aluno Solteiro, Casado, Divorciado, Viúvo, Separado text    
  profession Profissão do aluno Estudante, Comerciário, etc. text    
  religion Religião do aluno Católica, Protestante, Espírita, etc. text    
telephone_area_code Código de área do telefone 48 varchar(2)
  telephone_number Número do telefone do aluno 32333020 (sem formatação e sem código de área) text    
mobilePhoneAreaCode Código de área do telefone celular 48 varchar(2)
mobilePhoneNumber Número do telefone celular 8888888 text
commercial_phone_area_code Código de área do telefone comercial 48 varchar(2)
commercial_phone_number Número do telefone comercial 88888888 text
fax_area_code Código de área do fax 48 varchar(2)
fax_number Número do fax 88888888 text
  foreigner_document_issue_date Data de expedição da Carteira de estrangeiro 31/01/1990  date    
  foreigner_document Código do Registro Nacional de Estrangeiro 123456 text    
  foreigner_document_expiry_date Data de validade do documento de estrangeiro 31/12/2010 date    
  military_status Descrição da situação militar Dispensado text    
  military_description Descrição do Registro Militar text    
  military_certificate Número do certificado Militar 12345  text    
  military_certificate_description Descrição do certificado Militar text    
  voter_document Número do Titulo de Eleitor 12341 text    
  voter_document_issue_date Data de expedição do Titulo de Eleitor 31/01/1990 date    
  voter_document_city Nome do município de emissão do Titulo de Eleitor São Paulo, Rio de Janeiro, etc. text    
  voter_document_state Sigla da UF de emissão do Titulo de Eleitor SP, SC, RJ char(2)    
  voter_document_section Descrição da seção do Titulo de Eleitor 154 char(3)    
  voter_document_zone Número da zona eleitoral 2 char(3)    
  civil_certificate_term Número do Termo da Certidão Civil 432 text  
civil_certificate_page Número da folha no livro de Certidão Cívil 521 text
civil_certificate_book Descrição do Livro da Certidão Civil A-028 text
civil_certificate_issue_date Data da emissão da Certidão Cívil 01/01/1900 Date
civil_certificate_agency_state Sigla da UF do cartório SC Char(2)
civil_certificate_agency Nome do órgão usado para emitir a Certidão Civil. 11º Cartório do Registro Civil text
identity Identidade do aluno, caso aluno estrangeiro text
passport passaporte do aluno text

Filiação

Dados dos pais, mães e responsáveis dos alunos cadastrados. Na tabela abaixo, todos os dados são referentes ao pai, mãe ou responsável, menos o id_student.

Nome do Arquivo: AlunoFil.csv

Filtro: Todos os alunos existentes

Obrigatório:Sim


Aluno Filiação        
  Coluna Descrição Exemplo Tam/Form Obrig Referência
  id_student Código do aluno 1 integer Sim Aluno
relationship Grau de parentesco ou relacionamento que a pessoa tem com o aluno Um desses valores: pai, mãe, avô, avó, adotador, responsável legal, tutor, outros text Sim  
is_financial_responsable Indicar se essa pessoa é responsável financeiro do aluno true

false

boolean Sim
  name Nome (pode possuir abreviações) José G. Lima text Sim  
  fullname Nome completo (sem abreviações) José Gustavo Lima text Sim  
email Email email@pessoa.com.br text
  telephone_area_code Código de área do telefone 48 varchar(2) Sim Só não é obrigatório se a pessoa for falecida
telephone_number Número do telefone 32333020 (somente números e sem código de área) text Sim Só não é obrigatório se a pessoa for falecida
mobilePhoneAreaCode Código de área do telefone 48 varchar(2) Não


mobilePhoneNumber Número do telefone 888888988 text Não


  deceased Indicação de aluno órfão de pai ou mãe (se essa pessoa for o pai ou a mãe) Sim, Não text Sim Só não é obrigatório se a pessoa não for o pai nem a mãe
  cpf Número do CPF 12345678901 (somente números) text


  rg Número da carteira de identidade (RG) 12345678 (somente números) text    
  rg_issuing_agency Sigla do Órgão expedidor da carteira de identidade SSP text    
  rg_issuing_state Sigla da UF onde a carteira de identidade foi expedida SC, SP, RJ, MG. varchar(2)    
  rg_issue_date Data de expedição da Carteira de Identidade 01/01/1990 date    
  civil_status Estado civil Solteiro, Casado, Viúvo, Separado, etc. text    
  profession Profissão Médica, Dentista, etc. text    
  nationality Nacionalidade Brasileira, Chilena, Argentina, etc. text  Sim  
  zipcode CEP 88122420 (somente números) text  
  street Logradouro da residência R. Floriano, R. Direita, etc. text  
street_number Número de localização da residência no logradouro 123, 44, etc integer
  city Nome da cidade da residência São Paulo text  
  state Sigla da UF residencial SP varchar(2)  
country Nome do País Brasil text Sim
  complement Complemento do logradouro (Número da casa, apartamento, bloco, etc). Edifício Gennera - apto 201; bloco A, apto 44; etc text    
  neighborhood Bairro da residência Centro text    
  birthdate Data de nascimento 31/01/1970 date    
identity Identidade da pessoa, caso seja estrangeiro text
passport passaporte da pessoa text
           


Histórico escolar

Informações do histórico escolar dos alunos.

Nome do Arquivo: Historico.csv

Filtro: Todos os históricos dos alunos matriculados

Obrigatório:Não.

Histórico Escolar        
  Coluna Descrição Exemplo Tam/Form Obrig Referência
id_student Identificador do aluno 1 integer Sim Aluno
institution_name Nome do colégio Escola Planeta, Curso Aprimorar, etc. text Sim  
institution_city Nome da cidade onde está localizado o colégio São Paulo, Curitiba, etc. text    
institution_state UF onde está localizado o colégio SP, SC, PR, etc. char(2)    
course Nome do curso Ensino Fundamental, Ensino Infantil. text Sim
module Nome da série/ano 2ª Série, 8º Ano, etc. text Sim
  academic_calendar Calendário acadêmico 2003, 20031, 20032, 2004, 20041, 20042 text Sim  
  status Resultado que o aluno obteve na série Aprovado, Reprovado text Sim  
  attendance Frequência que o aluno obteve na série  2, 3, 8, 0, etc. (percentual) text  
  workload Carga horária  40, 50, 45, 25, etc. text    
  law Lei que regulamentou o curso  12345 text    
  instructional_days Quantidade de dias letivos  198 text    
  obs Observações do histórico  Aluno transferido, etc text    
           


Histórico x Disciplina

Informações das notas e frequências obtidas pelos alunos nas disciplinas, referentes aos históricos escolares.

Nome do Arquivo: HistoricoDisciplina.csv

Filtro: Todas as disciplinas dos históricos dos alunos matriculados

Obrigatório: Não

Histórico

Escolar Disciplina

       
  Coluna Descrição Exemplo Tam/Form Obrig Referência
id_student Identificador do aluno 1 integer Sim Aluno
course Nome do curso. Tem que ter o mesmo nome da coluna “course” do arquivo Historico.csv Ensino Fundamental, Ensino Infantil. text Sim
module Nome da série. Usar o mesmo nome da coluna “module” do arquivo Historico.csv 2ª Série, 8ª Série, etc. text Sim
academic_calendar Calendário acadêmico 2003, 20031, 20032, 2004, 20041, 20042 text Sim
subject Nome da disciplina Português, Química, Língua Estrangeira, etc. text Sim
  subject_group Nome da disciplina agrupada Língua Estrangeira text    
  subject_type Tipo de disciplina Curricular, Dependência, Integral. text    


national_curriculum É a Base de conhecimento de cada disciplina definida pelo MEC. Informe Comum quando a disciplina pertencer a grade curricular, e informe “Diversificada” quando não pertencer a grade curricular, mas é para enriquecimento do currículo. text Sim
subject_area Área de conhecimento da disciplina Ciências da natureza, etc text
  average_grade Média obtida pelo aluno na disciplina  8.6, 9.0, 7.2, etc. text    
  workload Carga horária da disciplina  45, 55, 48, etc. text    
  waiver Tipo de dispensa que o aluno teve para não cumprir a disciplina Médica, Já cursou, etc. text    
  achievement_test_grade Valor da prova de aproveitamento  6.5, 7.3, 8.3, etc. text    
  status Resultado que o aluno obteve na disciplina Aprovado, Reprovado, etc. text Sim  
obs Observações de histórico disciplina Disciplina transferida text
           

Matrícula

Informações referentes a matrícula do aluno.

Nome do Arquivo: Matricula.csv

Filtro: Todas as matrículas existentes no sistema do calendário acadêmico atual (ex: se estamos em 2018, exportar somente as matrículas de 2018, ignorando as de 2017 e anteriores)

Obrigatório: Não

Matricula        
  Coluna Descrição Exemplo Tam/Form Obrig Referência
id_student Código único que identifica o aluno. 120


integer Sim Aluno
id_enrollment Código único que identifica a matrícula do aluno 123 integer Sim
academic_responsible_person_cpf


CPF do responsável acadêmico 64383818021,

12578880050, etc

text Sim
financial_responsible_person_document CPF/CNPJ do responsável financeiro 64383818021,

12578880050, etc

text Sim
academic_calendar Código do calendário acadêmico vinculado a matrícula 20181

2018A

2018

text Sim
course Nome do Curso Ensino Fundamental text Sim
module Nome da série 1 série, 2 série, etc text Sim
class Nome da turma A, B, etc text Sim
status Situação da matricula Ativo, Inativo, Cancelado, Transferido, Outros. text Sim

Matrícula x Disciplina

Informações referentes às disciplinas da matrícula do aluno.

Nome do Arquivo: MatriculaDisciplina.csv

Filtro: Todas as disciplinas das matrículas existentes no sistema

Obrigatório: Não

MatriculaDisciplina        
  Coluna Descrição Exemplo Tam/Form Obrig Referência
id_enrollment Código único que identifica a matrícula do aluno 123 integer Sim Matrícula
o que queres dizer com "mais completo"? Se tiver um motivo prático, pode deixar. Qual o motivo?então precisar não precisa, mas eu deixei só para ficar mais completo o q acha?Já tem na matrícula. Precisa aqui tbm?academic_calendar Código do calendário acadêmico vinculado a matrícula 20181

2018A

2018

text Sim
Removi o _name desses campos porque vi que os outros (em histórico) já estão nesse padrão. Achei melhor seguir isso e depois, se esses itens evoluírem para terem suas tabelas, aí sim mudamos para _name, _id ect.course Nome do curso


Ensino Fundamental text Sim
module Nome do módulo


2ª Série,

8ª Série, etc.

text Sim
subject Nome da disciplina


Português,

Física, etc

text Sim
class Nome da turma


Turma A,

B, etc

text Sim

Matrícula x Documento

Informações dos documentos entregues referentes à matrícula do aluno.

Nome do Arquivo: MatriculaDocumento.csv

Filtro: Todos os documentos marcados como entregue das matrículas existentes no sistema

Obrigatório: Não


MatriculaDocumento        
  Coluna Descrição Exemplo Tam/Form Obrig Referência
id_enrollment Código único que identifica a matrícula do aluno 123 integer Sim Matrícula
document_name Nome do documento entregue pelo aluno ou responsável RG, CPF, comprovante de residência, etc text Sim


Nota

Informações referentes às notas dos alunos.

Nome do Arquivo: Nota.csv

Filtro: Todos as notas dos alunos matriculados

Obrigatório:Não.

Nota        
  Coluna Descrição Exemplo Tam/Form Obrig Referência
id_student Identificador do aluno Deve existir no arquivo de migração de alunos. integer Sim Aluno
course Nome do curso Ensino Fundamental text Sim
module Nome do módulo 2ª Série,

8ª Série, etc.

text Sim
class Nome da turma Turma A,

B, etc

text Sim
student_name Nome do aluno João Souza

text

Não

period Nome do período ao qual pertence a nota 1ª Bimestre, 2º Fase

Recuperação

(se for média deixar como anual, semestral, trimestral, etc)

text Sim
exam Nome do exame ao qual pertence a prova Prova de Recuperação

Nota 1

Trabalho

(se for média deixar como media)

text Sim
academic_calendar Nome do Calendário acadêmico 2018

20181

2018-2019

text Sim
subject Nome da disciplina Português

Matemática

text Sim
type Tipo da nota 1 - normal

2 - recuperação

3 - média

integer Sim
grade O valor da nota 9.5

10

2.5

numeric Sim

Financeiro

Informações referentes ao extrato financeiro.

Nome do Arquivo: Financeiro.csv

Filtro: Parcelas referentes ao financeiro

Obrigatório: Não

Financeiro        
  Coluna Descrição Exemplo Tam/Form Obrig Referência
financial_responsible_person_document Número do CPF/CNPJ do responsável financeiro do aluno 14682232493

(somente números)

(11 caracteres)

(Caso não exista deve ser preenchido com “0”)

text Sim
id_person_type Tipo de Pessoa do responsável financeiro Somente 1 ou 2:

1- Pessoa Física ou 2 - Pessoa Jurídica

integer Sim
id_student Identificador do tomador do serviço tipo aluno Deve existir no arquivo de migração de alunos. integer Sim Aluno
id_enrollment Identificador de número de matrícula integer Sim Matrícula
item_name Nome do Item, exatamente igual ao previamente cadastrado no sistema financeiro Curso Ensino Médio

Curso Administração (Mensalidade)


text


Sim

invoice_date Data da compra do item 30/01/2017 date Sim
invoice_amount Valor referente à pagar da competência da fatura Valor referente a pagar da competência da fatura.

Caso não exista deve ser “0”.

text Sim
due_date Data de vencimento da fatura 30/01/2017 date Sim


payment_date Data do pagamento da fatura 30/01/2017 date Sim
payment_method Forma de pagamento utilizada Somente um dos valores abaixo:

Cheque

Boleto

Dinheiro

Cartão de Crédito

Cartão de Débito

Transferência Bancária

Indefinido


text


Sim



amount Valor pago referente à competência da fatura Valor pago referente a fatura. Caso não exista deve ser “0”. text Sim
status Status do pagamento da competência da fatura Somente um dos valores abaixo:

Pago

Cancelado

Aberto

Renegociado

text Sim


cancellation_date Data do cancelamento da fatura 30/01/2017 date É obrigatório quando o campo status for preenchido como valor Cancelado
description_discount Nome do desconto text Não
percentage_discount Valor percentual do desconto Caso não exista deve ser “0”. text Sim
discount_amount Valor do desconto efetivo Caso não exista deve ser “0”. text Sim
interest_amount Valor do Juro aplicado Caso não exista deve ser “0”. text Sim
penalty_amount Valor da multa aplicado Caso não exista deve ser “0”. text Sim
id_purchase Código da parcela no sistema antigo text sim


id_purchase_renegotiation Código da parcela de destino quado houver renegociação text não
id_transaction Número do Boleto text não
Disponível em "http://wiki.gennera.com.br/index.php?title=Processo_Migração_de_Dados&oldid=180"