Mudanças entre as edições de "Processo Migração de Dados"
Linha 1: | Linha 1: | ||
+ | __NOTITLE__ | ||
O processo de migração de dados é executado em 4 fases: | O processo de migração de dados é executado em 4 fases: | ||
Edição das 19h09min de 23 de julho de 2018
O processo de migração de dados é executado em 4 fases:
Índice
Etapas
- Definição de uma estrutura padrão para o arquivo de transferência (equipe Gennera)
- Análise do banco de dados atual para a localização dos dados necessários (equipe do cliente)
- Geração de arquivos de texto com os dados do sistema atual, obedecendo ao layout fornecido (equipe do cliente)
- Carga dos dados no banco relacional do Academic One a partir dos registros existentes no arquivo de texto (Equipe Gennera)
De todas as atividades do processo de implantação, a fase de migração dos dados é a que exige mais cuidado em sua execução. Normalmente os usuários finais da instituição de ensino não possuem conhecimentos técnicos necessários para a criação dos arquivos de transferência de dados, embora dominem o sistema sob os aspectos de regras de negócio e aplicabilidade nos processos cotidianos. Eles também desconhecem a estrutura interna do plataforma.
Ainda que a instituição de ensino possa contar com um recurso que possua os conhecimentos técnicos em informática, ele dificilmente conhecerá a estrutura interna do sistema. Nem sempre este técnico conhece o sistema com a visão do usuário final, focado nos processos.
Já os técnicos do Academic One, embora especialistas em informática e conhecedores da estrutura do produto, via de regra não conhecem o sistema que a instituição de ensino utiliza e nem sua estrutura de dados.
Considerando o exposto podemos afirmar que, para que tenha sucesso, esta atividade deve ser executada “a quatro mãos”, com o envolvimento do cliente e da equipe do Academic One.
Mesmo que em determinados momentos com envolvimento parcial, os 3 principais recursos são: técnico do Academic One, técnico da instituição de ensino e o usuário final.
Tipos de Dados
Separador de campos: TAB Encoding: UTF-8
Importante: É necessário incluir o nome das colunas em forma de cabeçalho.
A seguir estão descritos os layouts dos arquivos de textos que devem ser gerados.
Algumas observações devem ser consideradas:
- Devem ser criados tantos registros no arquivo de texto quantos forem os registros existentes na base de dados atual, considerando os filtros de seleção já definidos entre os gestores da instituição de ensino e da implantação.
- Os campos indicados como obrigatórios devem possuir valor para todos os registros.
- Os campos que são opcionais podem não ter valor, mas eles devem constar em todos os registros sob a forma de valores nulos (vazios), separados pelo caractere separador definido (TAB). Dessa forma, todos os registros terão a mesma quantidade de separadores.
- Os valores numéricos: O caractere ponto (“.”) deve separar a parte inteira da fração decimal. Não deve haver separadores de milhares.
Por exemplo:
- 1234 → Valor válido
- 12.34→ Valor válido
- 12345.67→ Valor válido
- 12345,67→ Valor inválido
- 12.345,67→ Valor inválido
- 1,234.56→ Valor inválido
Formato das datas: Todas as datas devem estar no formato DD/MM/AAAA.
Alguns sistemas permitem a criação e armazenamento de dados sem a obediência de seu formato. Por exemplo, algumas datas podem ser armazenadas com o conteúdo ‘99/99/9999’, apesar de não ser uma data válida. Como o sistema está baseado em um banco relacional e implementou em sua estrutura algumas integridades de domínio, valores do como os do exemplo anterior não poderão ser carregados. Caberá ao técnico que fizer a geração dos arquivos de texto a responsabilidade por determinar, junto ao usuário, quais os valores válidos devem ser usados em substituição àqueles que não puderem ser inseridos por ferir tais integridades. As ocorrências mais graves de falta de integridade ocorrem nos campos de formato data.
Arquivos de Importação
Alunos
Dados completos dos alunos cadastrados na instituição de ensino. Nome do Arquivo: Aluno.csv Filtro: Todos os registros existentes Obrigatório:Sim
Coluna | Descrição | Exemplo | Tamanho e Formato | Obrigatório | Referência |
---|---|---|---|---|---|
id_student | Código ÚNICO que identifica o aluno na instituição de ensino | 001, 002, 003, etc | integer | sim | |
id_code | Número de matricula do aluno, usado no sistema legado. Também dese se usado obrigatoriamente o arquivo de foto de cada aluno. | REF2018000001, 1813023354, SMB2015010149, etc | integer | sim | |
name | Nome do aluno (pode possuir abreviações) | João C. Lima, Ana Maria S. Cruz, etc. | text | sim | |
full_name | Nome completo do aluno (sem abreviações) | João Carlos Lima, Ana Maria Soares Cruz, etc. | text | sim | |
Email do aluno | aluno@yahoo.com.br | text | |||
zipcode | CEP | 88122420 (somente números) | text | sim | |
street | Logradouro da residência do aluno | R. Floriano, R. Direita, etc. | text | sim | |
street_number | Número de localização da residência no logradouro. | 123, 44, etc | text | sim | valor default S/N |
city | Nome da Cidade da residência do aluno | São Paulo | text | sim | |
state | Sigla da UF residencial | SP | varchar(2) | sim | |
country | Nome do País | Brasil | text | Sim | |
complement | Complemento do logradouro (Número da casa, apartamento, bloco, etc). | Edifício Gennera - apto 201; bloco A, apto 44; etc | text | ||
neighborhood | Bairro da residência do aluno | Centro | text | ||
zone | Indica a zona residencial | Urbana ou Rural | text | Sim | |
birthdate | Data de nascimento do aluno | 31/01/1990 | date | Sim | |
birthplace | Nome da cidade de nascimento do aluno | São Paulo, Santos, Niterói, Itabirito, etc. | text | ||
birth_state | UF de nascimento do aluno | SC, SP, RJ, MG. | varchar(2) | ||
nationality | Nacionalidade do aluno | Brasileira, Chilena, Argentina, etc. | text | ||
gender | Sexo do aluno | Masculino, Feminino, | text | Sim | |
ethnicity | Cor/raça do aluno conforme classificação do MEC | Indígena, Amarela, Parda, Não Declarada, Preta, Branca | text | ||
rg | Número da carteira de Identidade (RG) do aluno | 12345678 (somente números) | text | ||
rg_issuing_agency | Código do órgão expedidor da carteira de identidade | SSP, MEx, CREA, OAB, DPF, etc. | text | ||
rg_issuing_state | UF do órgão expedidor da carteira de identidade | SC, SP, RJ, MG. | varchar(2) | ||
rg_issue_date | Data de Expedição da carteira de identidade | 31/01/1999 | date | ||
social_id | Número de Identificação Social | 123456 | text | ||
cpf | Número do CPF do aluno | 20919195600 (somente números) | text | ||
civil_status | Estado civil do aluno | Solteiro, Casado, Divorciado, Viúvo, Separado | text | ||
profession | Profissão do aluno | Estudante, Comerciário, etc. | text | ||
religion | Religião do aluno | Católica, Protestante, Espírita, etc. | text | ||
telephone_area_code | Código de área do telefone | 48 | varchar(2) | ||
telephone_number | Número do telefone do aluno | 32333020 (sem formatação e sem código de área) | text | ||
mobile_phone_area_code | Código de área do telefone celular | 48 | varchar(2) | ||
mobile_phone_number | Número do telefone celular | 8888888 | text | ||
commercial_phone_area_code | Código de área do telefone comercial | 48 | varchar(2) | ||
commercial_phone_number | Número do telefone comercial | 88888888 | text | ||
fax_area_code | Código de área do fax | 48 | varchar(2) | ||
fax_number | Número do fax | 88888888 | text | ||
foreigner_document_issue_date | Data de expedição da Carteira de estrangeiro | 31/01/1990 | date | ||
foreigner_document | Código do Registro Nacional de Estrangeiro | 123456 | text | ||
foreigner_document_expiry_date | Data de validade do documento de estrangeiro | 31/12/2010 | date | ||
military_status | Descrição da situação militar | Dispensado | text | ||
military_description | Descrição do Registro Militar | text | |||
military_certificate | Número do certificado Militar | 12345 | text | ||
military_certificate_description | Descrição do certificado Militar | text | |||
voter_document | Número do Titulo de Eleitor | 12341 | text | ||
voter_document_issue_date | Data de expedição do Titulo de Eleitor | 31/01/1990 | date | ||
voter_document_city | Nome do município de emissão do Titulo de Eleitor | São Paulo, Rio de Janeiro, etc. | text | ||
voter_document_state | Sigla da UF de emissão do Titulo de Eleitor | SP, SC, RJ | char(2) | ||
voter_document_section | Descrição da seção do Titulo de Eleitor | 154 | char(3) | ||
voter_document_zone | Número da zona eleitoral | 2 | char(3) | ||
civil_certificate_term | Número do Termo da Certidão Civil | 432 | text | ||
civil_certificate_page | Número da folha no livro de Certidão Cívil | 521 | text | ||
civil_certificate_book | Descrição do Livro da Certidão Civil | A-028 | text | ||
civil_certificate_issue_date | Data da emissão da Certidão Cívil | 01/01/1900 | date | ||
civil_certificate_agency_state | Sigla da UF do cartório | SC | char(2) | ||
civil_certificate_agency | Nome do órgão usado para emitir a Certidão Civil. | 11º Cartório do Registro Civil | text | ||
identity | Identidade do aluno, caso aluno estrangeiro | text | |||
passport | passaporte do aluno | text |
Filiação
Dados dos pais, mães e responsáveis dos alunos cadastrados. Na tabela abaixo, todos os dados são referentes ao pai, mãe ou responsável, menos o id_student. Nome do Arquivo: AlunoFil.csv Filtro: Todos os alunos existentes Obrigatório:Sim
Coluna | Descrição | Exemplo | Tamanho e Formato | Obrigatório | Referência |
---|---|---|---|---|---|
id_student | Código do aluno | 1 | integer | sim | Aluno |
relationship | Grau de parentesco ou relacionamento que a pessoa tem com o aluno | Um desses valores: pai, mãe, avô, avó, adotador, responsável legal, tutor, outros | text | sim | |
is_financial_responsable | Indicar se essa pessoa é responsável financeiro do aluno | true/false | boolean | sim | |
name | Nome (pode possuir abreviações) | José G. Lima | text | sim | |
fullname | Nome completo (sem abreviações) | José Gustavo Lima | text | sim | |
email@pessoa.com.br | text | ||||
telephone_area_code | Código de área do telefone | 48 | varchar(2) | sim | Só não é obrigatório se a pessoa for falecida |
telephone_number | Número do telefone | 32333020 (somente números e sem código de área) | text | Sim | Só não é obrigatório se a pessoa for falecida |
mobile_phone_area_code | Código de área do telefone | 48 | varchar(2) | não | |
mobile_phone_number | Número do telefone | 888888988 | text | Não | |
deceased | Indicação de aluno órfão de pai ou mãe (se essa pessoa for o pai ou a mãe) | Sim, Não | text | Sim | Só não é obrigatório se a pessoa não for o pai nem a mãe |
cpf | Número do CPF | 12345678901 (somente números) | text | ||
rg | Número da carteira de identidade (RG) | 12345678 (somente números) | text | ||
rg_issuing_agency | Sigla do Órgão expedidor da carteira de identidade | SSP | text | ||
rg_issuing_state | Sigla da UF onde a carteira de identidade foi expedida | SC, SP, RJ, MG. | varchar(2) | ||
rg_issue_date | Data de expedição da Carteira de Identidade | 01/01/1990 | date | ||
civil_status | Estado civil | Solteiro, Casado, Viúvo, Separado, etc. | text | ||
profession | Profissão | Médica, Dentista, etc. | text | ||
nationality | Nacionalidade | Brasileira, Chilena, Argentina, etc. | text | sim | |
zipcode | CEP | 88122420 (somente números) | text | ||
street | Logradouro da residência | R. Floriano, R. Direita, etc. | text | ||
street_number | Número de localização da residência no logradouro | 123, 44, etc | integer | ||
city | Nome da cidade da residência | São Paulo | text | ||
state | Sigla da UF residencial | SP | varchar(2) | ||
country | Nome do País | Brasil | text | sim | |
complement | Complemento do logradouro (Número da casa, apartamento, bloco, etc). | Edifício Gennera - apto 201; bloco A, apto 44; etc | text | ||
neighborhood | Bairro da residência | Centro | text | ||
birthdate | Data de nascimento | 31/01/1970 | date | ||
identity | Identidade da pessoa, caso seja estrangeiro | text | |||
passport | passaporte da pessoa | text |
Histórico escolar
Informações do histórico escolar dos alunos. Nome do Arquivo: Historico.csv Filtro: Todos os históricos dos alunos matriculados Obrigatório:Não.
Coluna | Descrição | Exemplo | Tamanho e Formato | Obrigatório | Referência |
---|---|---|---|---|---|
id_student | Identificador do aluno | 1 | integer | Sim | Aluno |
institution_name | Nome do colégio | Escola Planeta, Curso Aprimorar, etc. | text | sim | |
institution_city | Nome da cidade onde está localizado o colégio | São Paulo, Curitiba, etc. | text | ||
institution_state | UF onde está localizado o colégio | SP, SC, PR, etc. | char(2) | ||
course | Nome do curso | Ensino Fundamental, Ensino Infantil. | text | Sim | |
module | Nome da série/ano | 2ª Série, 8º Ano, etc. | text | Sim | |
academic_calendar | Calendário acadêmico | 2003, 20031, 20032, 2004, 20041, 20042 | text | Sim | |
status | Resultado que o aluno obteve na série | Aprovado, Reprovado | text | Sim | |
attendance | Frequência que o aluno obteve na série | 2, 3, 8, 0, etc. (percentual) | text | ||
workload | Carga horária | 40, 50, 45, 25, etc. | text | ||
law | Lei que regulamentou o curso | 12345 | text | ||
instructional_days | Quantidade de dias letivos | 198 | text | ||
obs | Observações do histórico | Aluno transferido, etc | text |
Histórico x Disciplina
Informações das notas e frequências obtidas pelos alunos nas disciplinas, referentes aos históricos escolares. Nome do Arquivo: HistoricoDisciplina.csv Filtro: Todas as disciplinas dos históricos dos alunos matriculados Obrigatório: Não
Coluna | Descrição | Exemplo | Tamanho e Formato | Obrigatório | Referência |
---|---|---|---|---|---|
id_student | Identificador do aluno | 1 | integer | sim | Aluno |
course | Nome do curso. Tem que ter o mesmo nome da coluna “course” do arquivo Historico.csv | Ensino Fundamental, Ensino Infantil. | text | sim | |
module | Nome da série. Usar o mesmo nome da coluna “module” do arquivo Historico.csv | 2ª Série, 8ª Série, etc. | text | sim | |
academic_calendar | Calendário acadêmico | 2003, 20031, 20032, 2004, 20041, 20042 | text | sim | |
subject | Nome da disciplina | Português, Química, Língua Estrangeira, etc. | text | sim | |
subject_group | Nome da disciplina agrupada | Língua Estrangeira | text | ||
subject_type | Tipo de disciplina | Curricular, Dependência, Integral. | text | ||
national_curriculum | É a Base de conhecimento de cada disciplina definida pelo MEC. | Informe Comum quando a disciplina pertencer a grade curricular, e informe “Diversificada” quando não pertencer a grade curricular, mas é para enriquecimento do currículo. | text | sim | |
subject_area | Área de conhecimento da disciplina | Ciências da natureza, etc | text | ||
average_grade | Média obtida pelo aluno na disciplina | 8.6, 9.0, 7.2, etc. | text | ||
workload | Carga horária da disciplina | 45, 55, 48, etc. | text | ||
waiver | Tipo de dispensa que o aluno teve para não cumprir a disciplina | Médica, Já cursou, etc. | text | ||
achievement_test_grade | Valor da prova de aproveitamento | 6.5, 7.3, 8.3, etc. | text | ||
status | Resultado que o aluno obteve na disciplina | Aprovado, Reprovado, etc. | text | sim | |
obs | Observações de histórico disciplina | Disciplina transferida | text |
Matrícula
Informações referentes a matrícula do aluno. Nome do Arquivo: Matricula.csv Filtro: Todas as matrículas existentes no sistema do calendário acadêmico atual (ex: se estamos em 2018, exportar somente as matrículas de 2018, ignorando as de 2017 e anteriores) Obrigatório: Não
Coluna | Descrição | Exemplo | Tamanho e Formato | Obrigatório | Referência |
---|---|---|---|---|---|
id_student | Código único que identifica o aluno. | 120 | integer | sim | Aluno |
id_enrollment | Código único que identifica a matrícula do aluno | 123 | integer | sim | |
academic_responsible_person_cpf | CPF do responsável acadêmico | 64383818021, 12578880050, etc | text | sim | |
financial_responsible_person_document | CPF/CNPJ do responsável financeiro | 64383818021, 12578880050, etc | text | Ssm | |
academic_calendar | Código do calendário acadêmico vinculado a matrícula | 20181, 2018A, 2018 | text | sim | |
course | Nome do Curso | Ensino Fundamental | text | sim | |
module | Nome da série | 1 série, 2 série, etc | text | sim | |
class | Nome da turma | A, B, etc | text | sim | |
status | Situação da matricula | Ativo, Inativo, Cancelado, Transferido, Outros. | text | sim |
Matrícula x Disciplina
Informações referentes às disciplinas da matrícula do aluno. Nome do Arquivo: MatriculaDisciplina.csv Filtro: Todas as disciplinas das matrículas existentes no sistema Obrigatório: Não
Coluna | Descrição | Exemplo | Tamanho e Formato | Obrigatório | Referência |
---|---|---|---|---|---|
id_enrollment | Código único que identifica a matrícula do aluno | 123 | integer | sim | Matrícula |
academic_calendar | Código do calendário acadêmico vinculado a matrícula | 20181, 2018A, 2018 | text | sim | |
course | Nome do curso | Ensino Fundamental | text | sim | |
module | Nome do módulo | 2ª Série, 8ª Série, etc. | text | sim | |
subject | Nome da disciplina | Português, Física, etc | text | sim | |
class | Nome da turma | Turma A, B, etc | text | sim |
Matrícula x Documento
Informações dos documentos entregues referentes à matrícula do aluno. Nome do Arquivo: MatriculaDocumento.csv Filtro: Todos os documentos marcados como entregue das matrículas existentes no sistema Obrigatório: Não
Coluna | Descrição | Exemplo | Tamanho e Formato | Obrigatório | Referência |
---|---|---|---|---|---|
id_enrollment | Código único que identifica a matrícula do aluno | 123 | integer | sim | Matrícula |
document_name | Nome do documento entregue pelo aluno ou responsável | RG, CPF, comprovante de residência, etc | text | sim |
Nota
Informações referentes às notas dos alunos. Nome do Arquivo: Nota.csv Filtro: Todos as notas dos alunos matriculados Obrigatório:Não
Coluna | Descrição | Exemplo | Tamanho e Formato | Obrigatório | Referência |
---|---|---|---|---|---|
id_student | Identificador do aluno | Deve existir no arquivo de migração de alunos | integer | Sim | Aluno |
course | Nome do curso | Ensino Fundamental | text | sim | |
module | Nome do módulo | 2ª Série, 8ª Série, etc. | text | sim | |
class | Nome da turma | Turma A, B, etc | text | sim | |
student_name | Nome do aluno | João Souza | text | não | |
period | Nome do período ao qual pertence a nota | 1ª Bimestre, 2º Fase, Recuperação (se for média deixar como anual, semestral, trimestral, etc) | text | sim | |
exam | Nome do exame ao qual pertence a prova | Prova de Recuperação, Nota 1, Trabalho (se for média deixar como media) | text | sim | |
academic_calendar | Nome do Calendário acadêmico | 2018, 20181, 2018-2019 | text | sim | |
subject | Nome da disciplina | Português, Matemática | text | sim | |
type | Tipo da nota | 1 - normal, 2 - recuperação, 3 - média | integer | sim | |
grade | O valor da nota | 9.5, 10, 2.5 | numeric | sim |
Financeiro
Informações referentes ao extrato financeiro. Nome do Arquivo: Financeiro.csv Filtro: Parcelas referentes ao financeiro Obrigatório: Não
Coluna | Descrição | Exemplo | Tamanho e Formato | Obrigatório | Referência |
---|---|---|---|---|---|
financial_responsible_person_document | Número do CPF ou CNPJ do responsável financeiro | Caso não exista deve ser preenchido com "0" | text | Sim | |
id_person_type | Tipo de Pessoa do responsável financeiro | Somente 1 ou 2 onde 1 é pessoa física e 2 é pessoa jurídica | integer | Sim | |
id_student | Identificador do tomador do serviço tipo aluno | Deve existir no arquivo de migração de alunos | integer | Sim | Aluno |
id_enrollment | Identificador de número de matrícula | integer | sim | Matrícula | |
item_name | Nome do Item, exatamente igual ao previamente cadastrado no sistema financeiro | Curso Ensino Médio, Curso Administração | text | Sim | |
invoice_date | Data da compra do item | 30/01/2017 | date | sim | |
invoice_amount | Valor referente à pagar da competência da fatura | Caso não exista deve ser "0" | text | sim | |
due_date | Data de vencimento da fatura | 30/01/2017 | date | sim | |
payment_date | Data do pagamento da fatura | 30/01/2017 | date | sim | |
payment_method | Forma de pagamento utilizada | Cheque, Boleto, Dinheiro, Cartão de Crédito, Cartão de Débito, Transferência Bancária, Indefinido | text | sim | |
amount | Valor pago referente à competência da fatura | VCaso não exista deve ser "0" | text | sim | |
status | Status do pagamento da competência da fatura | Pago, Cancelado, Aberto, Renegociado | text | sim | |
cancellation_date | Data do cancelamento da fatura | 30/01/2017 | data | É obrigatório quando o campo status for preenchido como valor cancelado | |
description_discount | Nome do desconto | text | não | ||
percentage_discount | Valor percentual do desconto | Caso não exista deve ser 0 | text | ||
discount_amount | Valor do desconto efetivo | Caso não exista deve ser 0 | text | Sim | |
interest_amount | Valor do juro aplicado | Caso não exista deve ser "0" | text | Sim | |
penalty_amount | Valor da multa aplicado | Caso não exista deve ser "0" | text | sim | |
id_purchase | Código da parcela no sistema legado | text | sim | ||
id_purchase_renegotiation | Código da parcela de destino quado houver renegociação | text | não | ||
id_transaction | Número do boleto bancário | text | não |