Bagaimana Anda menambahkan data ke tabel relasional dengan python?

Setiap hari, kami menghasilkan sejumlah besar data bervariasi, yang dalam keadaan mentahnya, tidak melakukan apa pun selain menempati ruang. Namun, jika data diorganisasikan dan dimanipulasi, kesimpulan yang bermakna dan berharga dapat ditarik darinya. Oleh karena itu, perburuan selalu dilakukan untuk alat yang membantu dalam proses penanganan data. Python Pandas adalah salah satu alat tersebut

Ilmu data adalah proses memperoleh wawasan dari kumpulan data yang sangat besar dan beragam dengan mengatur, memproses, dan menganalisisnya. Praktik ini lazim di banyak domain berbeda seperti e-commerce, perawatan kesehatan, dan energi. Persyaratan pemrograman ilmu data menuntut bahasa yang sangat serbaguna namun fleksibel, kode yang sederhana untuk ditulis tetapi dapat menangani pemrosesan matematika yang sangat kompleks. Python paling cocok untuk persyaratan seperti itu karena cukup kuat untuk menangani skenario kompleks dengan kode minimal dan lebih sedikit kebingungan. Ini memiliki koleksi perpustakaan yang sangat besar yang berfungsi sebagai alat analisis tujuan khusus

Pandas adalah pustaka Python open source yang digunakan untuk manipulasi data dan analisis data berkinerja tinggi, menggunakan struktur datanya yang kuat. Sangat cocok untuk berbagai jenis data, termasuk data tabel dengan kolom heterogen, seperti tabel SQL; . Python dengan Panda digunakan di berbagai domain akademik dan komersial, termasuk ekonomi, statistik, periklanan, analisis Web, dan banyak lagi

Artikel ini secara singkat membahas pemrosesan data dengan Python dan konektivitas ke database relasional menggunakan Python. Ini mencakup kueri yang memungkinkan manipulasi data dalam kerangka kerja Pythonic yang disediakan oleh toolkit SQL Python, SQLAlchemy, yang dikatakan sebagai alat abstraksi basis data Python terbaik karena menyediakan cara yang dapat diakses untuk membuat kueri, membangun, dan menulis ke basis data SQLite

Piton. Memproses data CSV
Membaca data dari CSV (comma Separated Values) adalah kebutuhan mendasar dalam ilmu data. CSV adalah format file sederhana yang digunakan untuk menyimpan data tabular, seperti spreadsheet atau database. Format CSV standar ditentukan oleh data baris dan kolom. Setiap baris diakhiri dengan baris baru untuk memulai baris berikutnya. Juga, di dalam baris, setiap kolom dipisahkan dengan koma
Untuk bekerja dengan file CSV dengan Python, impor modul bawaan yang disebut csv sebagai berikut

import csv
# reading csv file
with open(:/Users/Neethu/data.csv’,’r’)as x:

# creating a csv reader object
data = csv.reader(x)
# extracting each data row one by one
for row in data:
print(row)
# print the total number of rows 
print(“Total no. of rows: %d” %(data.line_num))

Outputnya diberikan di bawah ini

[‘id’, ‘name’, ‘salary’, ‘start_date’, ‘dept’]
[‘1’, ‘John’, ‘34000’, ‘05-08-17’, ‘CSE’]
[‘2’, ‘Manu’, ‘25600’, ‘23-09-18’, ‘ECE’]
[‘3’, ‘Isha’, ‘32500’, ‘05-12-18’, ‘IT’]
[‘4’, ‘Ryan’, ‘35678’, ‘01-05-19’, ‘CSE’]
[‘5’, ‘Neha’, ‘32100’, ‘27-03-17’, ‘ME’]
[‘6’, ‘Pooja’, ‘31000’, ‘03-05-19’, ‘IT’]
[‘7’, ‘Sam’, ‘26000’, ‘30-07-17’, ‘ECE’]
[‘8’, ‘Sanju’, ‘35908’, ‘27-06-18’, ‘CSE’]
Total no. of rows: 9

Pustaka sumber terbuka Pandas juga menyediakan fitur yang dapat digunakan untuk membaca file CSV secara penuh maupun sebagian hanya untuk grup kolom dan baris yang dipilih. Membaca CSV ke dalam Pandas DataFrame sangat cepat dan mudah

import pandas as pd
x = pd.read_csv(‘C:/Users/Neethu/data.csv’)
print(x)

Fungsi read_csv dari perpustakaan Pandas membaca file dari OS dengan menggunakan jalur yang benar ke file tersebut. Kolom tambahan yang dimulai dengan nol sebagai indeks dibuat oleh fungsi

Membaca baris dan kolom tertentu. Cetak kode (x[0. 5]['gaji']) akan mengiris hasil untuk baris pertama. Fungsi read_csv juga dapat digunakan untuk membaca beberapa kolom tertentu bersama dengan metode pengindeksan multi-sumbu yang disebut. lokasi()

print (x.loc[2:5,[‘salary’,’name’]])
salary name
2 32500 Isha
3 35678 Ryan
4 32100 Neha
5 31000 Pooja

Piton. Memproses data JSON
File JSON menyimpan data sebagai teks dalam format yang dapat dibaca manusia. JSON adalah singkatan dari Notasi Objek JavaScript. Panda dapat membaca file JSON menggunakan fungsi read_json. Python didukung dengan perpustakaan JSON. Kita dapat mengonversi daftar dan kamus menjadi JSON, dan string menjadi daftar dan kamus. Data JSON sangat mirip dengan kamus di Python, dengan kunci dan nilai disimpan

import json
data = ‘’’{ “apple” : “red”, “banana” : “yellow”, “mango” : “green”}’’’
# load the JSON into ‘a’ variable.
a = json.loads(data)
print(a)
#Write the Data into a JSON File
with open (‘abc.json’, ‘w’) as f:
json.dump(a, f)

Outputnya ditunjukkan di bawah ini

{‘apple’: ‘red’, ‘banana’: ‘yellow’, ‘mango’: ‘green’}

Using pandas, read a json file using the function pd.read_json()
import pandas as pd
newdata = pd.read_json(‘C:/Users/Neethu/inputdata.json’)
print (newdata)

Piton. Memproses data XLSX
Pustaka Pandas menyediakan fitur yang dengannya kita dapat membaca file Excel secara lengkap maupun sebagian, hanya untuk grup data yang dipilih. Kita juga bisa membaca file Excel dengan banyak sheet di dalamnya. Kami menggunakan fungsi read_excel untuk membaca data darinya. Panda default untuk menyimpan data di DataFrames. Kami kemudian menyimpan DataFrame ini ke dalam variabel

import pandas as pd
df=pd.read_excel(‘C:/Users/Neethu/product.xlsx’) 
print(df)

Product Price
0 Computer 24700
1 Tablet 12250
2 iPhone 14000
3 Laptop 25000

Untuk membaca kolom dan baris tertentu, gunakan kode berikut

import pandas as pd
data = pd.read_excel(‘C:/Users/Neethu/input.xlsx’)

# Use the multi-axes indexing function
print (data.loc[[1,3],[‘salary’,’name’]])

Untuk membaca banyak file Excel, ketikkan kode berikut

import pandas as pd
with pd.ExcelFile(‘C:/Users/Neethu/input.xlsx’) as xls:
df1 = pd.read_excel(xls, ‘Sheet1’)
df2 = pd.read_excel(xls, ‘Sheet2’)


print(“****Result Sheet 1****”)
print (df1[0:5][‘salary’])
print(“”)
print(“***Result Sheet 2****”)
print (df2[0:5][‘zipcode’])


****Result Sheet 1****
0 10000
1 20000
2 23456
3 12345
4 23412
Name: salary, dtype: int64

***Result Sheet 2****
0 89765
1 12345
2 23456
3 34567
4 45678
Name: zipcode, dtype: int64

Python dan basis data relasional
SQLite, database yang disertakan dengan Python, membuat satu file untuk semua data dalam database. Itu dibangun ke dalam Python tetapi hanya dibangun untuk diakses oleh satu koneksi pada satu waktu. SQLite mandiri, tanpa server, sangat cepat dan ringan;
SQLite dapat diintegrasikan dengan Python menggunakan modul Python bernama sqlite3. Anda tidak perlu menginstal modul ini secara terpisah karena dibundel dengan Python versi 2. 5. x seterusnya

Toolkit Python SQL, SQLAlchemy, yang dikatakan sebagai alat abstraksi basis data Python terbaik, menyediakan cara yang mudah diakses dan intuitif untuk membuat kueri, membangun, dan menulis ke basis data SQLite, MySQL, dan Postgresql. SQLAlchemy adalah toolkit sumber terbuka, pemetaan objek-relasional, dan pustaka tambahan untuk mengimplementasikan konektivitas basis data, yang menyediakan fungsionalitas bahasa SQL lengkap untuk digunakan dalam Python

Untuk menggunakan database, buat objek koneksi, yang akan mewakili database

import sqlite3
connection = sqlite3.connect(“College.db”) // created a database with the name “College”

Setelah membuat database kosong, tambahkan satu atau lebih tabel ke dalamnya menggunakan sintaks create table sql. Untuk mengirim perintah ke 'SQL' atau SQLite , kita perlu membuat objek kursor dengan memanggil metode koneksi kursor(), seperti yang ditunjukkan di bawah ini

[‘id’, ‘name’, ‘salary’, ‘start_date’, ‘dept’]
[‘1’, ‘John’, ‘34000’, ‘05-08-17’, ‘CSE’]
[‘2’, ‘Manu’, ‘25600’, ‘23-09-18’, ‘ECE’]
[‘3’, ‘Isha’, ‘32500’, ‘05-12-18’, ‘IT’]
[‘4’, ‘Ryan’, ‘35678’, ‘01-05-19’, ‘CSE’]
[‘5’, ‘Neha’, ‘32100’, ‘27-03-17’, ‘ME’]
[‘6’, ‘Pooja’, ‘31000’, ‘03-05-19’, ‘IT’]
[‘7’, ‘Sam’, ‘26000’, ‘30-07-17’, ‘ECE’]
[‘8’, ‘Sanju’, ‘35908’, ‘27-06-18’, ‘CSE’]
Total no. of rows: 9

Sekarang, nyatakan tabel buat dengan string yang dikutip tiga kali lipat dengan Python, sebagai berikut

[‘id’, ‘name’, ‘salary’, ‘start_date’, ‘dept’]
[‘1’, ‘John’, ‘34000’, ‘05-08-17’, ‘CSE’]
[‘2’, ‘Manu’, ‘25600’, ‘23-09-18’, ‘ECE’]
[‘3’, ‘Isha’, ‘32500’, ‘05-12-18’, ‘IT’]
[‘4’, ‘Ryan’, ‘35678’, ‘01-05-19’, ‘CSE’]
[‘5’, ‘Neha’, ‘32100’, ‘27-03-17’, ‘ME’]
[‘6’, ‘Pooja’, ‘31000’, ‘03-05-19’, ‘IT’]
[‘7’, ‘Sam’, ‘26000’, ‘30-07-17’, ‘ECE’]
[‘8’, ‘Sanju’, ‘35908’, ‘27-06-18’, ‘CSE’]
Total no. of rows: 9

Sekarang kami memiliki database dengan tabel tetapi tidak ada data yang disertakan. Untuk mengisi tabel, jalankan perintah INSERT ke SQLite

[‘id’, ‘name’, ‘salary’, ‘start_date’, ‘dept’]
[‘1’, ‘John’, ‘34000’, ‘05-08-17’, ‘CSE’]
[‘2’, ‘Manu’, ‘25600’, ‘23-09-18’, ‘ECE’]
[‘3’, ‘Isha’, ‘32500’, ‘05-12-18’, ‘IT’]
[‘4’, ‘Ryan’, ‘35678’, ‘01-05-19’, ‘CSE’]
[‘5’, ‘Neha’, ‘32100’, ‘27-03-17’, ‘ME’]
[‘6’, ‘Pooja’, ‘31000’, ‘03-05-19’, ‘IT’]
[‘7’, ‘Sam’, ‘26000’, ‘30-07-17’, ‘ECE’]
[‘8’, ‘Sanju’, ‘35908’, ‘27-06-18’, ‘CSE’]
Total no. of rows: 9

Untuk menyimpan perubahan, panggil metode komit dan akhirnya tutup koneksi, seperti yang ditunjukkan di bawah ini

[‘id’, ‘name’, ‘salary’, ‘start_date’, ‘dept’]
[‘1’, ‘John’, ‘34000’, ‘05-08-17’, ‘CSE’]
[‘2’, ‘Manu’, ‘25600’, ‘23-09-18’, ‘ECE’]
[‘3’, ‘Isha’, ‘32500’, ‘05-12-18’, ‘IT’]
[‘4’, ‘Ryan’, ‘35678’, ‘01-05-19’, ‘CSE’]
[‘5’, ‘Neha’, ‘32100’, ‘27-03-17’, ‘ME’]
[‘6’, ‘Pooja’, ‘31000’, ‘03-05-19’, ‘IT’]
[‘7’, ‘Sam’, ‘26000’, ‘30-07-17’, ‘ECE’]
[‘8’, ‘Sanju’, ‘35908’, ‘27-06-18’, ‘CSE’]
Total no. of rows: 9

Sekarang kodenya terlihat seperti yang ditunjukkan di bawah ini

[‘id’, ‘name’, ‘salary’, ‘start_date’, ‘dept’]
[‘1’, ‘John’, ‘34000’, ‘05-08-17’, ‘CSE’]
[‘2’, ‘Manu’, ‘25600’, ‘23-09-18’, ‘ECE’]
[‘3’, ‘Isha’, ‘32500’, ‘05-12-18’, ‘IT’]
[‘4’, ‘Ryan’, ‘35678’, ‘01-05-19’, ‘CSE’]
[‘5’, ‘Neha’, ‘32100’, ‘27-03-17’, ‘ME’]
[‘6’, ‘Pooja’, ‘31000’, ‘03-05-19’, ‘IT’]
[‘7’, ‘Sam’, ‘26000’, ‘30-07-17’, ‘ECE’]
[‘8’, ‘Sanju’, ‘35908’, ‘27-06-18’, ‘CSE’]
Total no. of rows: 9

Kode Python untuk menanyakan tabel karyawan kami adalah sebagai berikut

[‘id’, ‘name’, ‘salary’, ‘start_date’, ‘dept’]
[‘1’, ‘John’, ‘34000’, ‘05-08-17’, ‘CSE’]
[‘2’, ‘Manu’, ‘25600’, ‘23-09-18’, ‘ECE’]
[‘3’, ‘Isha’, ‘32500’, ‘05-12-18’, ‘IT’]
[‘4’, ‘Ryan’, ‘35678’, ‘01-05-19’, ‘CSE’]
[‘5’, ‘Neha’, ‘32100’, ‘27-03-17’, ‘ME’]
[‘6’, ‘Pooja’, ‘31000’, ‘03-05-19’, ‘IT’]
[‘7’, ‘Sam’, ‘26000’, ‘30-07-17’, ‘ECE’]
[‘8’, ‘Sanju’, ‘35908’, ‘27-06-18’, ‘CSE’]
Total no. of rows: 9

Output yang dikembalikan adalah

[‘id’, ‘name’, ‘salary’, ‘start_date’, ‘dept’]
[‘1’, ‘John’, ‘34000’, ‘05-08-17’, ‘CSE’]
[‘2’, ‘Manu’, ‘25600’, ‘23-09-18’, ‘ECE’]
[‘3’, ‘Isha’, ‘32500’, ‘05-12-18’, ‘IT’]
[‘4’, ‘Ryan’, ‘35678’, ‘01-05-19’, ‘CSE’]
[‘5’, ‘Neha’, ‘32100’, ‘27-03-17’, ‘ME’]
[‘6’, ‘Pooja’, ‘31000’, ‘03-05-19’, ‘IT’]
[‘7’, ‘Sam’, ‘26000’, ‘30-07-17’, ‘ECE’]
[‘8’, ‘Sanju’, ‘35908’, ‘27-06-18’, ‘CSE’]
Total no. of rows: 9

Ringkasan singkat kode

• Pertama, kami terhubung ke database dengan membuat objek koneksi baru
• Kedua, dari objek koneksi, kami membuat instance objek kursor baru
• Ketiga, kami menjalankan kueri yang memilih semua baris dari tabel buku
• Keempat, kami memanggil metode fetchone() untuk mengambil baris berikutnya di set hasil
• Kelima, kita menutup objek kursor dan koneksi dengan memanggil metode close() dari objek yang bersangkutan

Membaca tabel relasional
Kami memilih Sqlite3 sebagai basis data relasional kami karena sangat ringan dan mudah digunakan. Untuk memulainya, buat mesin database lalu sambungkan menggunakan fungsi to_sql dari pustaka SQLAlchemy
Tabel relasional dibuat dengan menggunakan fungsi to_sql dari DataFrame yang sudah dibuat, dengan membaca file CSV. Kemudian kita menggunakan fungsi read_sql_query untuk membaca hasil query SQL langsung ke DataFrame Pandas, seperti yang ditunjukkan di bawah ini

[‘id’, ‘name’, ‘salary’, ‘start_date’, ‘dept’]
[‘1’, ‘John’, ‘34000’, ‘05-08-17’, ‘CSE’]
[‘2’, ‘Manu’, ‘25600’, ‘23-09-18’, ‘ECE’]
[‘3’, ‘Isha’, ‘32500’, ‘05-12-18’, ‘IT’]
[‘4’, ‘Ryan’, ‘35678’, ‘01-05-19’, ‘CSE’]
[‘5’, ‘Neha’, ‘32100’, ‘27-03-17’, ‘ME’]
[‘6’, ‘Pooja’, ‘31000’, ‘03-05-19’, ‘IT’]
[‘7’, ‘Sam’, ‘26000’, ‘30-07-17’, ‘ECE’]
[‘8’, ‘Sanju’, ‘35908’, ‘27-06-18’, ‘CSE’]
Total no. of rows: 9

Penyisipan dan penghapusan pada database
Memasukkan dan memperbarui baris ke dalam tabel database SQLite yang sudah ada, selain mengirimkan kueri, mungkin merupakan operasi database yang paling umum. Sqlite3 memiliki cara mudah untuk menyuntikkan nilai dinamis tanpa bergantung pada pemformatan string

Setiap nilai '?' dalam kueri akan diganti dengan nilai dalam nilai. Tanda '?' pertama akan diganti dengan item pertama dalam nilai, yang kedua dengan item kedua, dan seterusnya. Ini berfungsi untuk semua jenis kueri. Ini membuat kueri berparametri SQLite, yang menghindari masalah injeksi SQL
Terakhir, kita dapat menghapus baris dalam database menggunakan metode eksekusi, seperti yang ditunjukkan di bawah ini

[‘id’, ‘name’, ‘salary’, ‘start_date’, ‘dept’]
[‘1’, ‘John’, ‘34000’, ‘05-08-17’, ‘CSE’]
[‘2’, ‘Manu’, ‘25600’, ‘23-09-18’, ‘ECE’]
[‘3’, ‘Isha’, ‘32500’, ‘05-12-18’, ‘IT’]
[‘4’, ‘Ryan’, ‘35678’, ‘01-05-19’, ‘CSE’]
[‘5’, ‘Neha’, ‘32100’, ‘27-03-17’, ‘ME’]
[‘6’, ‘Pooja’, ‘31000’, ‘03-05-19’, ‘IT’]
[‘7’, ‘Sam’, ‘26000’, ‘30-07-17’, ‘ECE’]
[‘8’, ‘Sanju’, ‘35908’, ‘27-06-18’, ‘CSE’]
Total no. of rows: 9

Untuk outputnya lihat Gambar 2

Sebagai rekapitulasi, Python adalah bahasa yang bagus untuk melakukan analisis data, terutama karena ekosistem yang fantastis dari paket Python yang berpusat pada data, banyak pustaka, dan fitur bawaan. Ini membuatnya mudah untuk mengatasi kebutuhan ilmu data. Pandas adalah kit alat analisis data yang kuat, yang dimaksudkan untuk menjadi blok bangunan tingkat tinggi untuk analisis data aktual dengan Python. SQLite adalah mesin basis data SQL yang paling banyak digunakan di dunia, yang dapat diintegrasikan dengan Python menggunakan modul Python yang disebut Sqlite3. Dibandingkan dengan menulis pernyataan SQL mentah tradisional menggunakan Sqlite3, kode SQLAlchemy lebih berorientasi objek, dan lebih mudah dibaca dan dipelihara

• TAG
• Data
• analisis data
• database
• Panda
• python
• relasional

Artikel sebelumnya Microsoft exFAT oleh Paragon Software Sekarang Mendukung Kernel Linux Baru 5. 2

Artikel berikutnya Binance Mendanai Lebih dari 40 Pengembang untuk Membangun Perangkat Lunak Kripto Sumber Terbuka

Neethu C Sekhar

Penulis adalah penggemar open source, saat ini bekerja sebagai asisten profesor di Departemen Ilmu Komputer, Sekolah Tinggi Teknik AmalJyothi, Kerala. Dia bisa dihubungi di nitucskr@gmail. com

Bagaimana Anda menambahkan data ke tabel dengan Python?

Bagaimana Anda memasukkan data ke dalam database relasional?

Bagaimana Anda membuat tabel dan memasukkan nilai dengan Python?

Bagaimana data dalam tabel relasional?