Θεωρία Πληροφορίας και Κωδίκων

ΜΑΘΗΣΙΑΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ

Σκοπός του μαθήματος είναι η εμβάθυνση των φοιτητών στις αρχές της θεωρίας πληροφορίας και η εκμάθηση των πλέον χρησιμοποιούμενων τεχνικών κωδικοποίησης πηγής και καναλιού. Έχοντας ολοκληρώσει επιτυχώς το μάθημα, οι φοιτητές/ήτριες θα είναι σε θέση να:

• Κατανοούν τα όρια που τίθενται κατά τη συμπίεση της πληροφορίας που παράγει μία πηγή και του δυνατού ρυθμού μετάδοσης δεδομένων μέσα από ένα κανάλι.
• Υπολογίζουν τη χωρητικότητα διακριτών καναλιών με περιορισμούς εισόδου και ενθόρυβων καναλιών.
• Υπολογίζουν το πληροφοριακό περιεχόμενο διακριτών πηγών.
• Γνωρίζουν τις δυνατότητες και περιορισμούς των πιο διαδεδομένων τεχνικών κωδικοποίησης πηγής και καναλιού.

 

Γενικές Ικανότητες

• Αυτόνομη Εργασία
• Άσκηση κριτικής και αυτοκριτικής
• Αναζήτηση, ανάλυση και σύνθεση δεδομένων και πληροφοριών, με τη χρήση και των απαραίτητων τεχνολογιών
• Προαγωγή δημιουργικής και επαγωγικής σκέψης

 

ΠΕΡΙΕΧΟΜΕΝΟ ΜΑΘΗΜΑΤΟΣ

To μάθημα δομείται σε τρεις ενότητες με συνολικά 26 δίωρες διαλέξεις.

1. Ενότητα 1: Εισαγωγή, Μέτρα πληροφορίας-Μοντελοποίηση πηγών, καναλιών.
   Διάλεξη 1-2: Το αντικείμενο της θεωρίας πληροφορίας και κωδίκων. Ιστορική αναδρομή-Ορόσημα στη Θεωρία Πληροφορίας και Κωδίκων. Μοντέλα πηγών, καναλιών και ταξινόμηση κωδίκων
   Διάλεξη 3-4: Μέτρο πληροφορίας, εντροπία, συνδετική εντροπία, υπό συνθήκη εντροπία, αμοιβαία πληροφορία, απόσταση Kullback-Leibler.
   Διάλεξη 5-6: Ρυθμός Εντροπίας, Διαφορική εντροπία
2. Ενότητα 2: Κωδικοποίηση πηγής.
   Διάλεξη 7-8: Συμπίεση πηγών χωρίς απώλειες. Ιδιότητα ασυμπτωτικής ισοδιαμέρισης (AEP), Θεώρημα Shannon-McMillan
   Διάλεξη 9-10: Block κώδικες και προθεματικοί κώδικες σύμπτυξης δεδομένων. Η ανισότητα Kraft, Κώδικες Huffman, Tunstall, Shannon-Fano, Αριθμητική κωδικοποίηση
   Διάλεξη 11-12: Κώδικες λεξικού, Lempel-Ziv 77, Lempel-Ziv 78, LZW. Συμπίεση πηγής με τη βοήθεια μετασχηματισμού.
   Διάλεξη 13-14: Συμπίεση πηγής με απώλειες, θεωρία Ρυθμού-Παραμόρφωσης.
3. Ενότητα 3: Χωρητικότητα καναλιού – Κωδικοποίηση καναλιού.
   Διάλεξη 15-16: Χωρητικότητα καναλιού και όρια στις επικοινωνίες.
   Διάλεξη 17-18: Γραμμικοί block κώδικες διόρθωσης σφαλμάτων. Hamming, Reed-Muller, Μεγίστου Μήκους, Golay. Δυϊκοί κώδικες
   Διάλεξη 19-20: Κυκλικοί κώδικες, Εισαγωγή σε πεπερασμένα σώματα Galois, Κωδικοποίηση- Αποκωδικοποίηση.
   Διάλεξη 21: BCH και RS κώδικες.
   Διάλεξη 22-23: Κώδικες γράφων. Συνελικτικοί κώδικες και αποκωδικοποίηση Viterbi.
   Διάλεξη 24: Εισαγωγή στους κώδικες Turbo, LDPC και Polar
   Διάλεξη 25-26: Χωρητικότητα διακριτών καναλιών χωρίς θόρυβο και με περιορισμούς εισόδου (RLL). Κώδικες Frieman Wyner.

 

ΑΞΙΟΛΟΓΗΣΗ ΦΟΙΤΗΤΩΝ

Θεωρία:
Ο τελικός βαθμός του μαθήματος προκύπτει από την τελική γραπτή εξέταση σε όλη τη διδαχθείσα ύλη (100%).
Γλώσσα αξιολόγησης: Ελληνική

Η διαδικασία αξιολόγησης περιέχει σε διάφορα ποσοστά:
-Ερωτήσεις θεωρίας
-Ανάπτυξη θεωρίας
-Ερωτήσεις κρίσεως
-Επίλυση προβλημάτων
-Μεικτές καταστάσεις.

 

ΣΥΝΙΣΤΩΜΕΝΗ ΒΙΒΛΙΟΓΡΑΦΙΑ

Ελληνική:

1. Ευάγγελος Ζέρβας: «Θεωρία Πληροφορίας και Κωδίκων», Σημειώσεις μαθήματος, Σεπτέμβριος 2018.
2. D.C. Hankerson, G. Hoffman, D.A. Leonard, C. Lindner, K.T. Phelp, C.A. Rodger, J.R. Wall, “Βασικές αρχές θεωρίας Κωδικοποίησης και κρυπτογραφίας», μετάφραση Χαράλαμπος Κορνάρος, Εκδόσεις Κλειδάριθμος, ISBN 978-960-461-369-4, 2009.
3. T. M. Cover, J. A. Thomas, “Στοιχεία της θεωρίας πληροφορίας”, επιμέλεια μετάφρασης Πανεπιστημιακές Εκδόσεις Κρήτης, 2013.

 

Ξενόγλωσση:

1. Richard Wells, “Applied Coding and Information Theory for Engineers”, prentice Hall, Information and System Sciences Series, ISBN 0-130961327-7, 1999.
2. Shu Lin, D. J. Costello, “Error Control Coding”, Prentice Hall, 2nd Edition, 2004.
3. Khalid Sayood, “Introduction to Data Compression”, Morgan Kaufmann, 4th Edition, 2012.