Processo Migração de Dados

Objetivo deste documento

Descrever os detalhes técnicos necessários para que os dados sejam migrados de uma estrutura de dados qualquer para o sistema Academic One.

Desenvolvimento

O processo de migração de dados do sistema atual do cliente para o Academic One é executado em 4 fases:

#

Definição de uma estrutura padrão para o arquivo de transferência (equipe Gennera);

1. Análise do banco de dados atual para a localização dos dados necessários (equipe do cliente);
2. Geração de arquivos de texto com os dados do sistema atual, obedecendo ao layout fornecido (equipe do cliente);
3. Carga dos dados no banco relacional do Academic One a partir dos registros existentes no arquivo de texto (Equipe Gennera).

Dificuldades Técnicas

De todas as atividades do processo de implantação, a fase de migração dos dados é a que exige mais cuidado em sua execução.

Normalmente os usuários finais da instituição de ensino não possuem conhecimentos técnicos necessários para a criação dos arquivos de transferência de dados, embora dominem o sistema sob os aspectos de regras de negócio e aplicabilidade nos processos cotidianos. Eles também desconhecem a estrutura interna do Academic One.

Ainda que a instituição de ensino possa contar com um recurso que possua os conhecimentos técnicos em informática, ele dificilmente conhecerá a estrutura interna do sistema. Nem sempre este técnico conhece o sistema com a visão do usuário final, focado nos processos.

Já os técnicos do Academic One, embora especialistas em informática e conhecedores da estrutura do produto, via de regra não conhecem o sistema que a instituição de ensino utiliza e nem sua estrutura de dados.

Considerando o exposto podemos afirmar que, para que tenha sucesso, esta atividade deve ser executada “a quatro mãos”, com o envolvimento do cliente e da equipe do Academic One.

Mesmo que em determinados momentos com envolvimento parcial, os 3 principais recursos são: técnico do Academic One, técnico da instituição de ensino e o usuário final.

Descrição dos Layouts

Separador de campos: TAB

Encoding: UTF-8

Importante: É necessário incluir o nome das colunas em forma de cabeçalho.

A seguir estão descritos os layouts dos arquivos de textos que devem ser gerados. Algumas observações devem ser consideradas:

#

Devem ser criados tantos registros no arquivo de texto quantos forem os registros existentes na base de dados atual, considerando os filtros de seleção já definidos entre os gestores da instituição de ensino e da implantação.

1. Os campos indicados como obrigatórios devem possuir valor para todos os registros.
2. Os campos que são opcionais podem não ter valor, mas eles devem constar em todos os registros sob a forma de valores nulos (vazios), separados pelo caractere separador definido (TAB). Dessa forma, todos os registros terão a mesma quantidade de separadores.
3. Os valores numéricos: O caractere ponto (“.”) deve separar a parte inteira da fração decimal. Não deve haver separadores de milhares. Por exemplo:

1234 → Valor válido

12.34→ Valor válido

12345.67→ Valor válido

12345,67→ Valor inválido

12.345,67→ Valor inválido

1,234.56→ Valor inválido

#

Formato das datas: Todas as datas devem estar no formato DD/MM/AAAA.

1. Alguns sistemas permitem a criação e armazenamento de dados sem a obediência de seu formato. Por exemplo, algumas datas podem ser armazenadas com o conteúdo ‘99/99/9999’, apesar de não ser uma data válida. Como o sistema está baseado em um banco relacional e implementou em sua estrutura algumas integridades de domínio, valores do como os do exemplo anterior não poderão ser carregados. Caberá ao técnico que fizer a geração dos arquivos de texto a responsabilidade por determinar, junto ao usuário, quais os valores válidos devem ser usados em substituição àqueles que não puderem ser inseridos por ferir tais integridades. As ocorrências mais graves de falta de integridade ocorrem nos campos de formato data.

Arquivos de exportação/importação

Alunos

Dados completos dos alunos cadastrados na instituição de ensino.

Nome do Arquivo: Aluno.csv

Filtro: Todos os registros existentes

Obrigatório:Sim

Aluno
	Coluna	Descrição	Exemplo	Tam/Form	Obrig	Referência
	id_student	Código ÚNICO que identifica o aluno na instituição de ensino	001, 002, 003, etc	integer	Sim
	id_code	Número de matricula do aluno, usado no sistema legado. Também dese se usado obrigatoriamente o arquivo de foto de cada aluno.	REF2018000001, 1813023354, SMB2015010149, etc	integer	Sim
	name	Nome do aluno (pode possuir abreviações)	João C. Lima, Ana Maria S. Cruz, etc.	text	Sim
	full_name	Nome completo do aluno (sem abreviações)	João Carlos Lima, Ana Maria Soares Cruz, etc.	text	Sim
	email	Email do aluno	aluno@yahoo.com.br	text
	zipcode	CEP	88122420 (somente números)	text	Sim
	street	Logradouro da residência do aluno	R. Floriano, R. Direita, etc.	text	Sim
	street_number	Número de localização da residência no logradouro.	123, 44, etc	text	Sim	valor default S/N
	city	Nome da Cidade da residência do aluno	São Paulo	text	Sim
	state	Sigla da UF residencial	SP	varchar(2)	Sim
	country	Nome do País	Brasil	text	Sim
	complement	Complemento do logradouro (Número da casa, apartamento, bloco, etc).	Edifício Gennera - apto 201; bloco A, apto 44; etc	text
	neighborhood	Bairro da residência do aluno	Centro	text
	zone	Indica a zona residencial	Urbana ou Rural	text	Sim

	birthdate	Data de nascimento do aluno	31/01/1990	date	Sim
	birthplace	Nome da cidade de nascimento do aluno	São Paulo, Santos, Niterói, Itabirito, etc.	text
	birth_state	UF de nascimento do aluno	SC, SP, RJ, MG.	varchar(2)
	nationality	Nacionalidade do aluno	Brasileira, Chilena, Argentina, etc.	text
	gender	Sexo do aluno	Masculino, Feminino, Outros	text	Sim
	ethnicity	Cor/raça do aluno conforme classificação do MEC	Indígena Amarela Parda Não Declarada Preta Branca	text
	rg	Número da carteira de Identidade (RG) do aluno	12345678 (somente números)	text
	rg_issuing_agency	Código do órgão expedidor da carteira de identidade	SSP, MEx, CREA, OAB, DPF, etc.	text
	rg_issuing_state	UF do órgão expedidor da carteira de identidade	SC, SP, RJ, MG.	varchar(2)
	rg_issue_date	Data de Expedição da carteira de identidade	31/01/1999	date
	social_id	Número de Identificação Social	123456	text
	cpf	Número do CPF do aluno	20919195600 (somente números)	text
	civil_status	Estado civil do aluno	Solteiro, Casado, Divorciado, Viúvo, Separado	text
	profession	Profissão do aluno	Estudante, Comerciário, etc.	text
	religion	Religião do aluno	Católica, Protestante, Espírita, etc.	text
	telephone_area_code	Código de área do telefone	48	varchar(2)
	telephone_number	Número do telefone do aluno	32333020 (sem formatação e sem código de área)	text
	mobilePhoneAreaCode	Código de área do telefone celular	48	varchar(2)
	mobilePhoneNumber	Número do telefone celular	8888888	text
	commercial_phone_area_code	Código de área do telefone comercial	48	varchar(2)
	commercial_phone_number	Número do telefone comercial	88888888	text
	fax_area_code	Código de área do fax	48	varchar(2)
	fax_number	Número do fax	88888888	text
	foreigner_document_issue_date	Data de expedição da Carteira de estrangeiro	31/01/1990	date
	foreigner_document	Código do Registro Nacional de Estrangeiro	123456	text
	foreigner_document_expiry_date	Data de validade do documento de estrangeiro	31/12/2010	date
	military_status	Descrição da situação militar	Dispensado	text
	military_description	Descrição do Registro Militar		text
	military_certificate	Número do certificado Militar	12345	text
	military_certificate_description	Descrição do certificado Militar		text
	voter_document	Número do Titulo de Eleitor	12341	text
	voter_document_issue_date	Data de expedição do Titulo de Eleitor	31/01/1990	date
	voter_document_city	Nome do município de emissão do Titulo de Eleitor	São Paulo, Rio de Janeiro, etc.	text
	voter_document_state	Sigla da UF de emissão do Titulo de Eleitor	SP, SC, RJ	char(2)
	voter_document_section	Descrição da seção do Titulo de Eleitor	154	char(3)
	voter_document_zone	Número da zona eleitoral	2	char(3)
	civil_certificate_term	Número do Termo da Certidão Civil	432	text
	civil_certificate_page	Número da folha no livro de Certidão Cívil	521	text
	civil_certificate_book	Descrição do Livro da Certidão Civil	A-028	text
	civil_certificate_issue_date	Data da emissão da Certidão Cívil	01/01/1900	Date
	civil_certificate_agency_state	Sigla da UF do cartório	SC	Char(2)
	civil_certificate_agency	Nome do órgão usado para emitir a Certidão Civil.	11º Cartório do Registro Civil	text
	identity	Identidade do aluno, caso aluno estrangeiro		text
	passport	passaporte do aluno		text

Alunos - Filiação

Dados dos pais, mães e responsáveis dos alunos cadastrados. Na tabela abaixo, todos os dados são referentes ao pai, mãe ou responsável, menos o id_student.

Nome do Arquivo: AlunoFil.csv

Filtro: Todos os alunos existentes

Obrigatório:Sim

Aluno Filiação
	Coluna	Descrição	Exemplo	Tam/Form	Obrig	Referência
	id_student	Código do aluno	1	integer	Sim	Aluno
	relationship	Grau de parentesco ou relacionamento que a pessoa tem com o aluno	Um desses valores: pai, mãe, avô, avó, adotador, responsável legal, tutor, outros	text	Sim
	is_financial_responsable	Indicar se essa pessoa é responsável financeiro do aluno	true false	boolean	Sim
	name	Nome (pode possuir abreviações)	José G. Lima	text	Sim
	fullname	Nome completo (sem abreviações)	José Gustavo Lima	text	Sim
	email	Email	email@pessoa.com.br	text
	telephone_area_code	Código de área do telefone	48	varchar(2)	Sim	Só não é obrigatório se a pessoa for falecida
	telephone_number	Número do telefone	32333020 (somente números e sem código de área)	text	Sim	Só não é obrigatório se a pessoa for falecida
	mobilePhoneAreaCode	Código de área do telefone	48	varchar(2)	Não
	mobilePhoneNumber	Número do telefone	888888988	text	Não
	deceased	Indicação de aluno órfão de pai ou mãe (se essa pessoa for o pai ou a mãe)	Sim, Não	text	Sim	Só não é obrigatório se a pessoa não for o pai nem a mãe
	cpf	Número do CPF	12345678901 (somente números)	text

	rg	Número da carteira de identidade (RG)	12345678 (somente números)	text
	rg_issuing_agency	Sigla do Órgão expedidor da carteira de identidade	SSP	text
	rg_issuing_state	Sigla da UF onde a carteira de identidade foi expedida	SC, SP, RJ, MG.	varchar(2)
	rg_issue_date	Data de expedição da Carteira de Identidade	01/01/1990	date
	civil_status	Estado civil	Solteiro, Casado, Viúvo, Separado, etc.	text
	profession	Profissão	Médica, Dentista, etc.	text
	nationality	Nacionalidade	Brasileira, Chilena, Argentina, etc.	text	Sim
	zipcode	CEP	88122420 (somente números)	text
	street	Logradouro da residência	R. Floriano, R. Direita, etc.	text
	street_number	Número de localização da residência no logradouro	123, 44, etc	integer
	city	Nome da cidade da residência	São Paulo	text
	state	Sigla da UF residencial	SP	varchar(2)
	country	Nome do País	Brasil	text	Sim
	complement	Complemento do logradouro (Número da casa, apartamento, bloco, etc).	Edifício Gennera - apto 201; bloco A, apto 44; etc	text
	neighborhood	Bairro da residência	Centro	text
	birthdate	Data de nascimento	31/01/1970	date
	identity	Identidade da pessoa, caso seja estrangeiro		text
	passport	passaporte da pessoa		text

Histórico escolar

Informações do histórico escolar dos alunos.

Nome do Arquivo: Historico.csv

Filtro: Todos os históricos dos alunos matriculados

Obrigatório:Não.

Histórico Escolar
	Coluna	Descrição	Exemplo	Tam/Form	Obrig	Referência
	id_student	Identificador do aluno	1	integer	Sim	Aluno
	institution_name	Nome do colégio	Escola Planeta, Curso Aprimorar, etc.	text	Sim
	institution_city	Nome da cidade onde está localizado o colégio	São Paulo, Curitiba, etc.	text
	institution_state	UF onde está localizado o colégio	SP, SC, PR, etc.	char(2)
	course	Nome do curso	Ensino Fundamental, Ensino Infantil.	text	Sim
	module	Nome da série/ano	2ª Série, 8º Ano, etc.	text	Sim
	academic_calendar	Calendário acadêmico	2003, 20031, 20032, 2004, 20041, 20042	text	Sim
	status	Resultado que o aluno obteve na série	Aprovado, Reprovado	text	Sim
	attendance	Frequência que o aluno obteve na série	2, 3, 8, 0, etc. (percentual)	text
	workload	Carga horária	40, 50, 45, 25, etc.	text
	law	Lei que regulamentou o curso	12345	text
	instructional_days	Quantidade de dias letivos	198	text
	obs	Observações do histórico	Aluno transferido, etc	text

Histórico x Disciplina

Informações das notas e frequências obtidas pelos alunos nas disciplinas, referentes aos históricos escolares.

Nome do Arquivo: HistoricoDisciplina.csv

Filtro: Todas as disciplinas dos históricos dos alunos matriculados

Obrigatório: Não

Histórico Escolar Disciplina
	Coluna	Descrição	Exemplo	Tam/Form	Obrig	Referência
	id_student	Identificador do aluno	1	integer	Sim	Aluno
	course	Nome do curso. Tem que ter o mesmo nome da coluna “course” do arquivo Historico.csv	Ensino Fundamental, Ensino Infantil.	text	Sim
	module	Nome da série. Usar o mesmo nome da coluna “module” do arquivo Historico.csv	2ª Série, 8ª Série, etc.	text	Sim
	academic_calendar	Calendário acadêmico	2003, 20031, 20032, 2004, 20041, 20042	text	Sim
	subject	Nome da disciplina	Português, Química, Língua Estrangeira, etc.	text	Sim
	subject_group	Nome da disciplina agrupada	Língua Estrangeira	text
	subject_type	Tipo de disciplina	Curricular, Dependência, Integral.	text

	national_curriculum	É a Base de conhecimento de cada disciplina definida pelo MEC.	Informe Comum quando a disciplina pertencer a grade curricular, e informe “Diversificada” quando não pertencer a grade curricular, mas é para enriquecimento do currículo.	text	Sim
	subject_area	Área de conhecimento da disciplina	Ciências da natureza, etc	text
	average_grade	Média obtida pelo aluno na disciplina	8.6, 9.0, 7.2, etc.	text
	workload	Carga horária da disciplina	45, 55, 48, etc.	text
	waiver	Tipo de dispensa que o aluno teve para não cumprir a disciplina	Médica, Já cursou, etc.	text
	achievement_test_grade	Valor da prova de aproveitamento	6.5, 7.3, 8.3, etc.	text
	status	Resultado que o aluno obteve na disciplina	Aprovado, Reprovado, etc.	text	Sim
	obs	Observações de histórico disciplina	Disciplina transferida	text

Matrícula

Informações referentes a matrícula do aluno.

Nome do Arquivo: Matricula.csv

Filtro: Todas as matrículas existentes no sistema do calendário acadêmico atual (ex: se estamos em 2018, exportar somente as matrículas de 2018, ignorando as de 2017 e anteriores)

Obrigatório: Não

Matricula
	Coluna	Descrição	Exemplo	Tam/Form	Obrig	Referência
	id_student	Código único que identifica o aluno.	120	integer	Sim	Aluno
	id_enrollment	Código único que identifica a matrícula do aluno	123	integer	Sim
	academic_responsible_person_cpf	CPF do responsável acadêmico	64383818021, 12578880050, etc	text	Sim
	financial_responsible_person_document	CPF/CNPJ do responsável financeiro	64383818021, 12578880050, etc	text	Sim
	academic_calendar	Código do calendário acadêmico vinculado a matrícula	20181 2018A 2018	text	Sim
	course	Nome do Curso	Ensino Fundamental	text	Sim
	module	Nome da série	1 série, 2 série, etc	text	Sim
	class	Nome da turma	A, B, etc	text	Sim
	status	Situação da matricula	Ativo, Inativo, Cancelado, Transferido, Outros.	text	Sim

Matrícula x Disciplina

Informações referentes às disciplinas da matrícula do aluno.

Nome do Arquivo: MatriculaDisciplina.csv

Filtro: Todas as disciplinas das matrículas existentes no sistema

Obrigatório: Não

MatriculaDisciplina
	Coluna	Descrição	Exemplo	Tam/Form	Obrig	Referência
	id_enrollment	Código único que identifica a matrícula do aluno	123	integer	Sim	Matrícula
	o que queres dizer com "mais completo"? Se tiver um motivo prático, pode deixar. Qual o motivo?então precisar não precisa, mas eu deixei só para ficar mais completo o q acha?Já tem na matrícula. Precisa aqui tbm?academic_calendar	Código do calendário acadêmico vinculado a matrícula	20181 2018A 2018	text	Sim
	Removi o _name desses campos porque vi que os outros (em histórico) já estão nesse padrão. Achei melhor seguir isso e depois, se esses itens evoluírem para terem suas tabelas, aí sim mudamos para _name, _id ect.course	Nome do curso	Ensino Fundamental	text	Sim
	module	Nome do módulo	2ª Série, 8ª Série, etc.	text	Sim
	subject	Nome da disciplina	Português, Física, etc	text	Sim
	class	Nome da turma	Turma A, B, etc	text	Sim

Matrícula x Documento

Informações dos documentos entregues referentes à matrícula do aluno.

Nome do Arquivo: MatriculaDocumento.csv

Filtro: Todos os documentos marcados como entregue das matrículas existentes no sistema

Obrigatório: Não

MatriculaDocumento
	Coluna	Descrição	Exemplo	Tam/Form	Obrig	Referência
	id_enrollment	Código único que identifica a matrícula do aluno	123	integer	Sim	Matrícula
	document_name	Nome do documento entregue pelo aluno ou responsável	RG, CPF, comprovante de residência, etc	text	Sim

Nota

Informações referentes às notas dos alunos.

Nome do Arquivo: Nota.csv

Filtro: Todos as notas dos alunos matriculados

Obrigatório:Não.

Nota
	Coluna	Descrição	Exemplo	Tam/Form	Obrig	Referência
	id_student	Identificador do aluno	Deve existir no arquivo de migração de alunos.	integer	Sim	Aluno
	course	Nome do curso	Ensino Fundamental	text	Sim
	module	Nome do módulo	2ª Série, 8ª Série, etc.	text	Sim
	class	Nome da turma	Turma A, B, etc	text	Sim
	student_name	Nome do aluno	João Souza	text	Não
	period	Nome do período ao qual pertence a nota	1ª Bimestre, 2º Fase Recuperação (se for média deixar como anual, semestral, trimestral, etc)	text	Sim
	exam	Nome do exame ao qual pertence a prova	Prova de Recuperação Nota 1 Trabalho (se for média deixar como media)	text	Sim
	academic_calendar	Nome do Calendário acadêmico	2018 20181 2018-2019	text	Sim
	subject	Nome da disciplina	Português Matemática	text	Sim
	type	Tipo da nota	1 - normal 2 - recuperação 3 - média	integer	Sim
	grade	O valor da nota	9.5 10 2.5	numeric	Sim

Financeiro

Informações referentes ao extrato financeiro.

Nome do Arquivo: Financeiro.csv

Filtro: Parcelas referentes ao financeiro

Obrigatório: Não

Financeiro
	Coluna	Descrição	Exemplo	Tam/Form	Obrig	Referência
	financial_responsible_person_document	Número do CPF/CNPJ do responsável financeiro do aluno	14682232493 (somente números) (11 caracteres) (Caso não exista deve ser preenchido com “0”)	text	Sim
	id_person_type	Tipo de Pessoa do responsável financeiro	Somente 1 ou 2: 1- Pessoa Física ou 2 - Pessoa Jurídica	integer	Sim
	id_student	Identificador do tomador do serviço tipo aluno	Deve existir no arquivo de migração de alunos.	integer	Sim	Aluno
	id_enrollment	Identificador de número de matrícula		integer	Sim	Matrícula
	item_name	Nome do Item, exatamente igual ao previamente cadastrado no sistema financeiro	Curso Ensino Médio Curso Administração (Mensalidade)	text	Sim
	invoice_date	Data da compra do item	30/01/2017	date	Sim
	invoice_amount	Valor referente à pagar da competência da fatura	Valor referente a pagar da competência da fatura. Caso não exista deve ser “0”.	text	Sim
	due_date	Data de vencimento da fatura	30/01/2017	date	Sim

	payment_date	Data do pagamento da fatura	30/01/2017	date	Sim
	payment_method	Forma de pagamento utilizada	Somente um dos valores abaixo: Cheque Boleto Dinheiro Cartão de Crédito Cartão de Débito Transferência Bancária Indefinido	text	Sim
	amount	Valor pago referente à competência da fatura	Valor pago referente a fatura. Caso não exista deve ser “0”.	text	Sim
	status	Status do pagamento da competência da fatura	Somente um dos valores abaixo: Pago Cancelado Aberto Renegociado	text	Sim

	cancellation_date	Data do cancelamento da fatura	30/01/2017	date	É obrigatório quando o campo status for preenchido como valor Cancelado
	description_discount	Nome do desconto		text	Não
	percentage_discount	Valor percentual do desconto	Caso não exista deve ser “0”.	text	Sim
	discount_amount	Valor do desconto efetivo	Caso não exista deve ser “0”.	text	Sim
	interest_amount	Valor do Juro aplicado	Caso não exista deve ser “0”.	text	Sim
	penalty_amount	Valor da multa aplicado	Caso não exista deve ser “0”.	text	Sim
	id_purchase	Código da parcela no sistema antigo		text	sim

	id_purchase_renegotiation	Código da parcela de destino quado houver renegociação		text	não
	id_transaction	Número do Boleto		text	não